完整定義
指令微調是一種模型訓練方法,用於提升大型語言模型遵循人類指令的能力。它利用包含輸入指令和期望輸出的資料集,對預訓練模型進行微調,使其能夠更好地理解指令意圖並產生相應的結果。常見應用包括提升問答系統、文本摘要和程式碼生成的性能。
白話說明
你有沒有發現,模型明明懂很多字,卻不一定聽得懂你要它做什麼?
你可以把它想成教模型看懂命令格式,像在練習「請你整理、比較、改寫」這些日常要求。
指令微調是一種利用特定格式指令資料集,微調預訓練語言模型,使其更精確理解並執行人類指令的技術。
記住這句
把「聽得懂指令」這件事,直接訓練進模型。
比喻:指令微調就像教一個聰明的學徒,如何更精準地理解老闆的吩咐 -- 他本來懂很多,但透過訓練,能更準確地按照指令做事。
容易混淆
fine-tuning
一般微調只是在特定資料上補強任務能力,指令微調是刻意讓模型學會聽指令、照格式回應。
prompt engineering
提示工程是你改問法,指令微調是把這種問法訓進模型裡。
實際案例
客服摘要
把一長串客服對話丟給模型,要求它輸出三點重點與下一步處理,模型若經過指令微調,格式會穩很多。
文件改寫
同一段內容要改成條列、白話或正式語氣,指令微調後的模型比較知道你要的是哪種輸出。
演算法與應用
指令微調通常用帶有「任務說明 + 輸入 + 目標輸出」的資料集來訓練,重點不是背答案,而是學會遵守任務格式。它常和對齊、RLHF 一起被提到,但三者不是同一件事。
常見問題
一般微調只是在特定資料上補強任務能力,指令微調是刻意讓模型學會聽指令、照格式回應。
你可以把它想成教模型看懂命令格式,像在練習「請你整理、比較、改寫」這些日常要求。
提示工程是你改問法,指令微調是把這種問法訓進模型裡。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本