AITerms 登入
模型訓練模型評估最佳化

頓悟學習(Grokking)是什麼?

頓悟學習指模型在訓練初期泛化能力差,但經過長時間訓練後,突然展現出良好的泛化能力,如同頓悟一般。

完整定義

頓悟學習(Grokking)是指機器學習模型在訓練的早期階段,對訓練數據的擬合程度很高,但在驗證數據上的表現很差(泛化能力差)。然而,經過長時間的訓練後,模型會突然展現出良好的泛化能力,如同突然頓悟一般,在驗證數據上的表現也大幅提升。

白話說明

你有沒有看過模型明明早就把訓練資料背熟,卻隔很久才突然真的會做新題目?

你可以把 grokking 想成先死背,後來才真正通了。

它描述的是模型在長時間訓練後,泛化能力突然冒出來的現象,而不是一開始就穩穩學會。

記住這句

先背很久,突然才真正懂。

比喻:頓悟學習就像學生一開始死記硬背,做題成績平平,但突然有一天,他融會貫通了,不僅能解題還能舉一反三,成績瞬間突飛猛進。

容易混淆

grokking vs 過擬合

過擬合是訓練好、測試差

grokking 常是先像過擬合,後來測試表現突然改善

最關鍵的區別是卡住,還是後來翻轉

grokking vs 記憶化

記憶化只是在背答案

grokking 可能先背,再在某一刻形成規則

最關鍵的區別是單純背誦,還是最後產生泛化

實際案例

合成資料任務

在一些人工設計的簡單規則任務裡,模型會先把訓練集記住,之後才突然在測試集上表現變好。

研究訓練動態

研究者會用 grokking 觀察模型到底是什麼時候從記憶轉向規則學習。

深入了解

這個現象讓人重新思考訓練時間、正則化和泛化之間的關係。

它不是每個任務都會出現,但對理解深度網路的學習過程很有幫助。

情境判斷

Q1: 訓練很久後,測試準確率突然大幅上升,你會想到什麼?

可以想到 grokking,尤其在規則型或合成任務裡。

Q2: 只有訓練集變好、測試集一直不變,這就是 grokking 嗎?

不一定,grokking 的重點是後來出現明顯的泛化轉折。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本