AITerms 登入
大型語言模型生成式AI模型訓練

對齊校準(Alignment)是什麼?

對齊校準是指使AI模型,特別是大型語言模型,的行為與人類意圖、價值觀和倫理規範相符的過程,降低潛在風險。

完整定義

對齊校準是一種使AI模型,特別是大型語言模型(LLM),的行為與人類意圖、價值觀和倫理規範相符的過程。它用於確保模型輸出安全、有用且符合預期,能夠降低模型產生有害、不準確或不道德內容的風險。常見應用包括訓練模型避免產生偏見、提供可靠資訊以及遵循使用者指令。

白話說明

你有沒有遇過模型很會答題,卻不一定照你的意思做?

你可以把對齊校準想成把 AI 的行為拉回到人類想要的方向,讓它不只會生成文字,還會更符合意圖、價值和安全邊界。它關心的是模型「想做什麼」和「應該做什麼」能不能對上。

這很重要,因為模型能力愈強,若方向沒有對齊,錯誤就不只是答錯,而是會放大成有害行為。

記住這句

讓模型不只會答,還要答得像你希望的那樣。

比喻:對齊校準就像訓練一隻聰明的導盲犬 -- 你要教牠不僅聽懂指令,還要理解你的意圖,知道什麼該做、什麼不該做,確保牠在幫助你的同時不會傷害你或自己。

容易混淆

對齊校準 vs 微調

微調是讓模型更會某個任務。

對齊校準是讓模型更符合人類期待。

最關鍵的區別:微調管能力,對齊管方向。

對齊校準 vs AI安全

對齊校準是安全的一部分。

AI安全範圍更大,還包含監控、限制和測試。

最關鍵的區別:對齊偏模型內部,安全偏整體系統。

對齊校準 vs RLHF

RLHF 是常見的對齊方法。

對齊校準是更大的目標。

最關鍵的區別:方法和目標不同。

實際案例

拒答有害請求

當使用者要求模型教你做危險事情時,對齊校準會讓模型學會拒絕或轉向安全替代方案,而不是照單全收。

客服回覆風格

同一個客服模型如果沒有對齊,可能回得太冷、太冗長或太武斷,對齊後才會更符合品牌和使用者期待。

演算法與應用

常見做法

RLHF、獎勵建模、憲法式AI原則、規則微調與安全評估,通常會一起用。

實務重點

對齊不是一次性訓練,而是訓練、評估、修正、再評估的循環。

情境判斷

Q1(直覺題): 一個模型很會回答,但常常不聽指令中的限制,這時該看什麼?

對齊校準問題,因為模型能力有了,但行為沒有對上人類意圖。

Q2(判斷題): 只要加大模型規模,就能自動解決對齊問題嗎?

不一定,這要看情況。能力變強不代表方向會自己變正,對齊通常還是要靠方法和評估。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把對齊校準列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本