完整定義
上下文學習理論描述了大型語言模型(LLMs)在沒有明確梯度更新或微調的情況下,僅通過輸入提示(Prompt)中的範例或指令,就能學習並執行新任務的能力。這種能力展現了LLMs強大的泛化能力和對語言模式的理解,使其能夠適應各種不同的任務和情境。
白話說明
你有沒有好奇過,為什麼模型看幾個例子就像會做一樣?
你可以把上下文學習理論想成在解釋這種現場學習為什麼會發生。
它關心的不是怎麼寫提示,而是模型內部到底怎麼把範例轉成可用的推理能力。
記住這句
解釋為什麼模型看幾例就會做。
比喻:就像一個聰明的廚師,你給他幾道菜的食譜範例,他就能舉一反三,變化出新的菜色 -- 這個理論就是研究他為什麼能這麼聰明。
容易混淆
理論 vs 實作
實作關心怎麼把任務做好
理論關心為什麼會有效
最關鍵的區別是做法,還是解釋
上下文學習理論 vs 微調
上下文學習理論在解釋提示中的現場學習
微調是在解釋權重更新後的學習
最關鍵的區別是提示內學習,還是參數內學習
實際案例
研究模型泛化
研究者會拿不同提示排列、不同範例數量來觀察模型是否真的在做上下文學習。
比較不同模型
同樣的提示,有些模型效果好、有些不穩,理論研究可以幫忙解釋差在哪。
深入了解
常見解釋會牽涉到 transformer 結構、meta-learning 或近似演算法視角。
這一塊還在發展中,所以很多問題還沒有單一公認答案。
情境判斷
Q1: 你看到提示順序一換,模型表現就變了,這在理論上代表什麼?
代表上下文學習對範例排列和提示形式很敏感。
Q2: 你想知道它和微調哪個更重要,理論會直接給標準答案嗎?
不會,因為兩者解決的問題不同,取捨要看場景。
常見問題
上下文學習是現象,理論是解釋這個現象的模型。
因為它關係到大型語言模型到底怎麼泛化。
還沒有,這是仍在演進的研究議題。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本