AITerms 登入
大型語言模型Prompt工程模型訓練

上下文學習理論(In-context Learning Theory)是什麼?

上下文學習理論指大型語言模型無需額外訓練,僅憑藉輸入提示中的範例,即可執行新任務的能力,展現了模型泛化的潛力。

完整定義

上下文學習理論描述了大型語言模型(LLMs)在沒有明確梯度更新或微調的情況下,僅通過輸入提示(Prompt)中的範例或指令,就能學習並執行新任務的能力。這種能力展現了LLMs強大的泛化能力和對語言模式的理解,使其能夠適應各種不同的任務和情境。

白話說明

你有沒有好奇過,為什麼模型看幾個例子就像會做一樣?

你可以把上下文學習理論想成在解釋這種現場學習為什麼會發生。

它關心的不是怎麼寫提示,而是模型內部到底怎麼把範例轉成可用的推理能力。

記住這句

解釋為什麼模型看幾例就會做。

比喻:就像一個聰明的廚師,你給他幾道菜的食譜範例,他就能舉一反三,變化出新的菜色 -- 這個理論就是研究他為什麼能這麼聰明。

容易混淆

理論 vs 實作

實作關心怎麼把任務做好

理論關心為什麼會有效

最關鍵的區別是做法,還是解釋

上下文學習理論 vs 微調

上下文學習理論在解釋提示中的現場學習

微調是在解釋權重更新後的學習

最關鍵的區別是提示內學習,還是參數內學習

實際案例

研究模型泛化

研究者會拿不同提示排列、不同範例數量來觀察模型是否真的在做上下文學習。

比較不同模型

同樣的提示,有些模型效果好、有些不穩,理論研究可以幫忙解釋差在哪。

深入了解

常見解釋會牽涉到 transformer 結構、meta-learning 或近似演算法視角。

這一塊還在發展中,所以很多問題還沒有單一公認答案。

情境判斷

Q1: 你看到提示順序一換,模型表現就變了,這在理論上代表什麼?

代表上下文學習對範例排列和提示形式很敏感。

Q2: 你想知道它和微調哪個更重要,理論會直接給標準答案嗎?

不會,因為兩者解決的問題不同,取捨要看場景。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本