完整定義
策略梯度方法是強化學習中的一類算法,它直接學習策略,而無需顯式地學習價值函數。策略梯度算法通過計算策略梯度來更新策略參數,策略梯度指示了策略參數應該如何調整才能最大化預期累積獎勵。與基於價值函數的方法相比,策略梯度方法可以直接學習隨機策略,並且在高維度動作空間中表現良好。
白話說明
你有沒有想過,強化學習不是只算分數,也能直接改行動策略?
你可以把 策略梯度 想成 先把目標拆步驟,再決定怎麼走。
複雜任務不會一次做完,直接調策略,讓長期獎勵變大 這件事就特別重要。
記住這句
直接調策略,讓長期獎勵變大
比喻:策略梯度就像一個「摸著石頭過河」的人 -- 它會嘗試不同的行動策略,如果哪個策略讓它得到更多獎勵,它就會「記住」並稍微調整,下次更傾向於採取那個好策略。
容易混淆
策略梯度 vs Q-learning
Q-learning 像學習每個「狀態-行動」組合的價值,是間接學習;策略梯度像直接學習一套「行動準則」,告訴你在什麼情況下該做什麼,更直觀。
最關鍵的區別:一個安排做什麼,一個決定怎麼安排。
策略梯度 vs 排程
planning 是決定做哪些步驟,排程是決定每一步何時做
最關鍵的區別:一個管順序,一個管時間點。
實際案例
案例 1:遊戲 agent 根據獎勵調整出招方向
案例 2:機器手臂根據回饋修正控制策略
演算法與應用
核心意思就是:直接調策略,讓長期獎勵變大。
在 AI 代理、機器人和強化學習裡都很重要
好的 planning 要考慮成本、限制和失敗後怎麼回復
情境判斷
Q2(判斷題): 步驟都固定時,還需要 planning 嗎?
看情況,若流程很固定,簡單腳本就夠;若有變數,planning 才有價值
常見問題
策略梯度是指示策略參數應該如何調整才能最大化預期累積獎勵的梯度。 策略梯度算法通過計算策略梯度,然後使用梯度上升或其他優化算法來更新策略參數,從而改進策略。
Actor-Critic方法結合了策略梯度和價值函數方法。 它使用一個actor來學習策略,並使用一個critic來評估策略的價值。 Critic提供的價值評估可以幫助Actor更有效地學習策略,並減少方差。
PPO和TRPO都是策略梯度算法,它們都使用一種技術來限制策略更新的幅度,以提高訓練的穩定性。 TRPO使用一種稱為“信任區域”的技術,而PPO使用一種稱為“裁剪”的技術。 PPO通常比TRPO更容易實現,並且在許多情況下表現更好。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把策略梯度列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本