AITerms 登入
大型語言模型自然語言處理機器學習

上下文學習(In-context Learning)是什麼?

上下文學習 (In-context Learning) 指的是大型語言模型無需額外訓練,僅通過輸入範例即可學習新任務的能力。

完整定義

上下文學習 (In-context Learning) 是一種讓大型語言模型 (LLM) 在沒有明確梯度更新或微調的情況下,僅通過在輸入提示中提供範例來執行新任務的技術。模型根據提示中的上下文信息,學習如何完成任務。

白話說明

你有沒有只給 AI 幾個例子,它就突然知道怎麼做新任務?

你可以把上下文學習想成模型在提示裡現場學規則。

它不用先改權重,只靠你放進去的範例和說明,就能臨時適應新任務。

記住這句

不改權重,直接看範例學。

比喻:上下文學習就像你教小朋友玩新遊戲,不是從頭解釋規則,而是直接示範幾次,小朋友看著看著就會了 -- 模型就是看著你給的範例,就知道怎麼完成任務。

容易混淆

上下文學習 vs 微調

上下文學習不改模型權重

微調會用新資料更新權重

最關鍵的區別是現場學,還是重新訓練一部分模型

上下文學習 vs 少樣本學習

少樣本學習是更大的概念

上下文學習是大型語言模型常見的做法之一

最關鍵的區別是整體目標,還是具體機制

實際案例

格式轉換

你只要在提示裡給幾個輸入輸出對,模型就能照著把資料改成你要的格式。

臨時分類

今天要把留言分成正向、負向和中立,明天換標準時,只要改提示範例就能重做。

深入了解

上下文學習很吃提示品質和範例選擇,範例越貼近任務,效果通常越好。

它也受上下文窗口限制,所以能放進去的示例數量不是無限的。

情境判斷

Q1: 你不想重新訓練模型,只想臨時教它新格式,會先想到什麼?

上下文學習。

Q2: 任務很固定、長期都要同一種輸出,還只靠提示範例嗎?

看情況,這時微調可能更穩定。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 2 題把上下文學習列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本