AITerms 登入
強化學習最佳化AI基礎

探索與利用(Exploration vs Exploitation)是什麼?

探索與利用是強化學習中的權衡,探索是指嘗試新動作以發現潛在的更好策略,利用是指使用已知最佳策略以獲得最大獎勵。

完整定義

在強化學習中,探索與利用 (Exploration vs Exploitation) 是一種基本的權衡。探索是指智能體嘗試新的、未知的動作,以發現潛在的更好策略。利用是指智能體使用當前已知的最佳策略,以獲得最大的累積獎勵。智能體需要在探索和利用之間找到平衡,才能在長期內獲得最佳性能。

白話說明

你有沒有在餐廳點餐時,明明知道常吃那家最穩,卻又想試試新店?

你可以把它想成,AI 一邊要用已知最好策略拿分,一邊又要試新選項,免得錯過更好的答案。

這個拉扯在強化學習特別重要,因為只會守著現有答案,常常會卡在次佳策略。

記住這句

要賺現在,也要找未來。

比喻:探索與利用就像你去一家新餐廳點餐 -- 你可以點你最喜歡的菜(利用),確保不會踩雷;也可以嘗試一道沒吃過的新菜(探索),也許會發現新大陸,但也可能踩雷。

容易混淆

探索 vs 利用

探索是在試新動作,找還沒發現的好選項。

利用是在用已知最好策略,先把眼前獎勵拿滿。

最關鍵的區別:要不要冒險試新東西。

探索 vs 貪婪策略

貪婪策略只做目前看起來最好的事。

探索與利用是在保留當前收益的同時,還要留一部分資源試新路。

最關鍵的區別:有沒有探索預算。

探索 vs 試錯成本

試錯成本越高,探索就越保守。

利用可以穩定拿分,但探索才有機會找到更高上限。

最關鍵的區別:短期損失和長期發現的平衡。

實際案例

推薦系統挑內容

系統要決定要推熱門內容,還是推少數用戶可能更喜歡的新內容。

Before:只推熱門。After:一部分流量拿來試新內容,模型才有機會學到更多偏好。

機器人學新策略

機器人要在熟悉路徑和陌生路徑之間分配嘗試。

Before:永遠走舊路。After:透過探索找到更省時的路線。

演算法與應用

常見策略有 epsilon-greedy、UCB 和 Thompson Sampling。

epsilon-greedy 會保留一小部分機率去探索,UCB 會把不確定性也算進分數,Thompson Sampling 則用機率分布抽樣。

真正難的是怎麼在不同階段調整探索比例,前期多試、後期多用,通常比較合理。

情境判斷

Q1(直覺題): 你在推薦系統裡只推歷史點擊率最高的內容,可能會發生什麼事?

模型會越來越保守,只會強化既有偏好,最後很難發現新內容的潛力。

Q2(判斷題): 探索比例是不是越高越好?

看情況。前期可以高一點,後期通常要降低;如果試錯成本很高,探索也不能太激進。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

其他格式:Markdown 版本