指令微調詳解：從 Alpaca 案例到損失掩碼的實現細節

AI 摘要

Dongxi 東錫 NLP 發佈後訓練系列第二篇，系統講解指令微調（SFT）。文章以斯坦福用 52,000 條數據、不到 600 美元成本將 LLaMA 7B 訓成 Alpaca 為例，說明指令微調與預訓練共用交叉熵損失、只改變數據和任務；它能改變模型行為方式並泛化到新任務，但難以補充知識或判斷回答優劣。