AITerms 登入
強化學習模型訓練最佳化

獎勵函數(Reward Function)是什麼?

獎勵函數是強化學習中定義代理在特定狀態下採取特定動作後獲得的獎勵的函數,用於引導代理學習期望行為。

完整定義

獎勵函數是強化學習的核心組成部分,它定義了代理在特定狀態下採取特定動作後獲得的獎勵。獎勵函數的設計至關重要,因為它直接影響代理學習到的行為。一個好的獎勵函數應該能夠明確地表達期望的行為,並避免產生不期望的副作用。

白話說明

你有沒有想過,AI 為什麼知道「做這件事比較好」?

你可以把獎勵函數想成成績計分表,AI 做到你要的行為就加分,做不到就少分。

它重要是因為強化學習學的不是答案本身,而是目標怎麼被衡量。

記住這句

先定義什麼叫好,再讓模型去追分。

比喻:獎勵函數就像訓練寵物的零食或讚美 -- 當寵物做出你希望的動作(正確行為)時,你就給它獎勵,牠就會學著重複這些動作,避開那些沒獎勵或有懲罰的行為。

容易混淆

獎勵函數 vs 損失函數

獎勵函數是越高越好

損失函數是越低越好

最關鍵的區別是最大化還是最小化。

獎勵函數 vs 獎勵建模

獎勵函數是評分規則

獎勵建模是學出這個評分規則

最關鍵的區別是規則本身還是規則的來源。

實際案例

送餐機器人

如果只獎勵速度,機器人可能亂衝,所以通常要把安全和準時一起放進獎勵函數。

遊戲 AI

打怪加分、死亡扣分、達成任務再加分,這些都會影響最後學到的策略。

演算法與應用

好的獎勵函數要盡量貼近真正目標,否則模型會學會鑽漏洞。

獎勵稀疏時,模型很難知道哪一步有用,通常要靠獎勵塑形。

在實務上,獎勵設計常比演算法本身更難。

情境判斷

Q1(直覺題):如果模型只顧著拿高分,卻做出不安全動作,問題多半出在哪裡?

多半出在獎勵函數設計不完整。

Q2(判斷題):把所有你想要的行為都加進獎勵函數,就一定比較好嗎?

不一定。太多條件可能互相衝突,讓模型不知道該優先追哪一個目標。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 2 題把獎勵函數列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本