AITerms 登入
強化學習大型語言模型模型訓練

人類回饋強化學習(RLHF)是什麼?

人類回饋強化學習(RLHF)是一種利用人類回饋訊號,訓練強化學習模型,使其行為更符合人類偏好的方法。

完整定義

人類回饋強化學習(Reinforcement Learning from Human Feedback, RLHF)是一種結合強化學習和人類回饋的訓練方法。它利用人類對模型輸出的偏好作為獎勵訊號,訓練強化學習模型,使其生成的內容更符合人類的期望。常見應用包括提升對話系統、文本生成和程式碼生成的質量。

白話說明

你用聊天 AI 時,有沒有覺得它越來越像人、也越來越懂你的偏好?

你可以把 RLHF 想成先看人怎麼選答案,再用這些回饋去調整模型行為。

它重要是因為純預訓練的模型不一定懂人類想要什麼,RLHF 可以把「好用」拉近到「會講」旁邊。

記住這句

先學人喜歡什麼,再把模型往那裡推。

比喻:RLHF 就像教一個小孩子學會「禮貌」 -- 小孩子(AI)會嘗試各種行為,大人(人類)會告訴他「這個好」、「那個不好」,小孩子就會慢慢學會做出大人喜歡的行為。

容易混淆

RLHF vs 獎勵建模

RLHF 是整個流程

獎勵建模是流程中的一個環節

最關鍵的區別是全流程和其中一步。

RLHF vs 監督式微調

RLHF 用人類偏好與強化學習更新模型

監督式微調主要是拿標準答案直接學

最關鍵的區別是學答案還是學偏好。

實際案例

對話助理

先收集人類對多個回答的偏好,再讓模型學會更有幫助、比較安全的回覆方式。

摘要系統

如果使用者偏好簡短、準確、沒廢話的答案,RLHF 可以把這些偏好帶進模型。

演算法與應用

典型流程是蒐集偏好資料、訓練 reward model、再用強化學習更新語言模型。

它的目標不是只讓模型更聰明,而是讓它更符合人類使用習慣。

成本高、資料貴、流程長,是它最常見的代價。

三個階段拆開看

三個階段缺一不可,但真正花錢的是第二階段的人工排序。獎勵模型的品質直接決定最終模型的上限,因為第三階段是拿獎勵模型當老師,老師打分不準,學生就往錯的方向跑。

第三階段一定會加一個 KL 散度懲罰項,限制新模型不要離 SFT 模型太遠。沒有這個限制,模型會找到獎勵模型的漏洞,產出分數很高但實際很怪的答案,這叫獎勵駭客(reward hacking)。

階段
監督式微調(SFT)
在做什麼
用人寫的示範答案做一般微調
產出
一個會照格式回答的基礎模型
階段
獎勵模型訓練(RM)
在做什麼
人類對同一題的多個回答排序,訓練一個會打分的模型
產出
一個能預測「人比較喜歡哪個」的評分器
階段
強化學習微調(PPO 等)
在做什麼
讓語言模型去最大化獎勵模型給的分數
產出
對齊過的最終模型

考題會怎麼問

這個詞在考題裡出現,通常是四選一的形式,題幹描述「人類針對模型輸出給回饋,模型據此調整」,選項會放預訓練、微調、RLHF、向量化。判準只有一句:有沒有人類的偏好回饋參與訓練迴路。

預訓練:只有大量文字,沒有人在旁邊評價,學的是預測下一個字。

微調(fine-tuning):有標準答案,但沒有「比較哪個比較好」這件事。

RLHF:有人類針對多個輸出排序或評分,而且這個回饋被拿去更新模型。

向量化:把文字轉成數字表示,跟訓練回饋無關。

另一種常考的問法是「RLHF 的目的主要是什麼」,答案是讓模型輸出更符合人類偏好與安全期待,不是讓模型知識更多,也不是讓模型跑更快。

常見的替代做法

DPO(Direct Preference Optimization,直接偏好最佳化):跳過訓練獎勵模型與強化學習,直接用偏好資料對,以一個分類式的損失函數更新模型。流程短很多、比較穩定,是近年常見的替代路線。

RLAIF(人工智慧回饋強化學習):把「人類排序」換成「另一個模型排序」,成本大幅下降,代價是把評分模型的偏誤一起學進來。

憲法式 AI(Constitutional AI):先寫一組原則,讓模型依原則自我批改,再拿修正後的資料訓練。同樣是為了減少人力標註。

情境判斷

Q1(直覺題):如果模型先看人類對回答的排序偏好,再調整自己的輸出,這是什麼?

這就是 RLHF。

Q2(判斷題):只要做了 RLHF,模型就不會出現危險回答嗎?

不能保證。它能改善對齊,但仍要搭配安全規則、測試和監控。

常見問題

範例考題

某企業導入大型語言模型作為客服助理。模型已具備穩定語言能力,但在回覆偏好一致性與組織規範遵循方面仍需優化,團隊因此規劃導入人類反饋強化學習(RLHF)流程,下列何者最不屬於 RLHF 階段的典型技術活動?

  1. A透過人工評估方式建立偏好資料,使模型的不同候選輸出可反映人類主觀品質差異
  2. B訓練一個能依據人類偏好判斷輸出品質的模型,作為模型優化過程中的回饋依據
  3. C依據品質評估結果,調整模型生成策略,使其輸出更符合偏好導向的行為表現
  4. D以未標註語料為主進行長週期表示學習訓練,以提升模型基礎語言建模能力
到題目頁作答

出現在這些考古題

官方公告試題的逐題解析裡,這 3 題把人類回饋強化學習列為延伸術語。

相關術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本