AITerms 登入
機器學習強化學習模型訓練

策略梯度(Policy Gradient)是什麼?

策略梯度是一種直接優化策略的強化學習方法,它通過計算策略梯度來更新策略參數,以最大化預期累積獎勵。

完整定義

策略梯度方法是強化學習中的一類算法,它直接學習策略,而無需顯式地學習價值函數。策略梯度算法通過計算策略梯度來更新策略參數,策略梯度指示了策略參數應該如何調整才能最大化預期累積獎勵。與基於價值函數的方法相比,策略梯度方法可以直接學習隨機策略,並且在高維度動作空間中表現良好。

白話說明

你有沒有想過,強化學習不是只算分數,也能直接改行動策略?

你可以把 策略梯度 想成 先把目標拆步驟,再決定怎麼走。

複雜任務不會一次做完,直接調策略,讓長期獎勵變大 這件事就特別重要。

記住這句

直接調策略,讓長期獎勵變大

比喻:策略梯度就像一個「摸著石頭過河」的人 -- 它會嘗試不同的行動策略,如果哪個策略讓它得到更多獎勵,它就會「記住」並稍微調整,下次更傾向於採取那個好策略。

容易混淆

策略梯度 vs Q-learning

Q-learning 像學習每個「狀態-行動」組合的價值,是間接學習;策略梯度像直接學習一套「行動準則」,告訴你在什麼情況下該做什麼,更直觀。

最關鍵的區別:一個安排做什麼,一個決定怎麼安排。

策略梯度 vs 排程

planning 是決定做哪些步驟,排程是決定每一步何時做

最關鍵的區別:一個管順序,一個管時間點。

實際案例

案例 1:遊戲 agent 根據獎勵調整出招方向

案例 2:機器手臂根據回饋修正控制策略

演算法與應用

核心意思就是:直接調策略,讓長期獎勵變大。

在 AI 代理、機器人和強化學習裡都很重要

好的 planning 要考慮成本、限制和失敗後怎麼回復

情境判斷

Q2(判斷題): 步驟都固定時,還需要 planning 嗎?

看情況,若流程很固定,簡單腳本就夠;若有變數,planning 才有價值

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把策略梯度列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本