AITerms 登入
強化學習大型語言模型模型訓練

直接偏好優化(Direct Preference Optimization)是什麼?

直接偏好優化(DPO)是一種直接利用人類偏好資料,優化語言模型,無需訓練獎勵模型的強化學習替代方案。

完整定義

直接偏好優化(Direct Preference Optimization, DPO)是一種簡化版的強化學習方法,用於訓練大型語言模型。它直接利用人類對不同模型輸出的偏好資料,優化語言模型,避免了傳統RLHF中訓練獎勵模型的步驟,從而降低了複雜性和訓練成本。常見應用包括提升對話系統、文本生成和程式碼生成的質量。

白話說明

你想讓模型更像人類喜歡的回答,而不是只追求高分嗎?

你可以把 直接偏好優化 想成直接把人類偏好寫進模型訓練的方式。

它其實就是不用先訓練獎勵模型,而是直接用偏好對比去調整語言模型。

直接偏好優化(DPO)是一種直接利用人類偏好資料,優化語言模型,無需訓練獎勵模型的強化學習替代方案。當你想省步驟、降複雜度、又保留偏好對齊時,這個方法很有吸引力。

記住這句

直接學人類偏好,少繞一圈獎勵模型

比喻:DPO 就像一個學生直接從「老師給的標準答案」學習 -- 老師直接告訴他哪份作業寫得好、哪份不好,學生就直接模仿好的作業,而不是像以前那樣,先讓另一個學生(獎勵模型)去猜老師的喜好,再從猜測中學習。

容易混淆

vs 基於人類回饋的強化學習 (RLHF)

RLHF 像讓模型先學會「討好」一個評分機器人(獎勵模型),再讓評分機器人指導它;DPO 則直接讓模型看「人類的喜好」,少了一個中間環節,訓練起來更直接、更穩定。

實際案例

案例一:直接偏好優化 調整聊天模型

你不想再訓練一個獎勵模型,只想讓模型更偏向人類喜歡的回答,DPO 就是這種做法。

案例二:直接偏好優化 比較兩個回覆

給模型一對偏好樣本,讓它直接學哪個答案比較符合人類口味,流程會比傳統 RLHF 更短。

深入了解

DPO 的做法是直接用偏好對比來調整模型輸出機率

和 RLHF 相比,它少了獎勵模型這一段,流程更短、調參也通常更直觀

但它還是很吃偏好資料品質,資料歪了,模型也會跟著歪

情境判斷

Q1(直覺題): 如果你只想讓模型更符合人類喜好,還需要先訓練一個獎勵模型嗎?

不一定,DPO 就是想少走這一步,直接用偏好資料來調整模型。

Q2(判斷題): 少一步就代表一定比較好嗎?

看情況,因為流程更簡單不代表資料品質要求變低,偏好標註若有偏差,模型還是會被帶歪。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把直接偏好優化列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本