---
title: "上下文脈絡（Context）"
slug: context
language: zh-TW
source: https://aiterms.tw/terms/context
updated_at: 2026-06-27
tags: [自然語言處理, 大型語言模型, 生成式AI, Prompt工程, source:arxiv]
ipas_term: false
---

# 上下文脈絡（Context）

AI 模型在生成回應或進行預測時，所能參考與記憶的輸入資訊範圍及歷史對話內容。

## 完整說明

上下文脈絡（Context）是一種模型在處理當前任務時所依賴的背景資訊與記憶，用於確保模型輸出的連貫性、準確度與相關性。在大型語言模型中，它通常受到「上下文長度（Context Window）」的限制，常見應用包括多輪對話系統、長篇文章摘要、代碼庫分析與檢索增強生成（RAG）等需要綜合大量歷史資訊的場景。

## 常見問題

### 當模型的上下文視窗（Context Window）宣稱有一百萬 Tokens，這代表我可以直接把所有資料都丟給它嗎？

理論上可以，但實務上並不建議這樣做。首先，超長上下文的運算成本極高，會導致回應速度（TTFT）大幅變慢，且 API 計費會呈指數級成長。其次，目前的大型語言模型普遍存在「Lost in the Middle（迷失在中間）」的現象，亦即模型對於放在上下文開頭與結尾的資訊記憶深刻，但往往會忽略或遺漏放在中間段落的關鍵細節。因此，即使模型支援百萬 Tokens，先透過向量檢索（RAG）過濾出最相關的片段再組合成 Context 給模型，依然是兼顧效能與準確率的最佳實務。

### AI 模型是如何「記住」先前的對話上下文的？它在伺服器端會永久保存我的對話嗎？

無狀態的 API（如標準的 OpenAI 或 Anthropic API）本身不會「記住」任何對話。每一次你發送新訊息時，開發者的程式或聊天介面都會將「過去的所有歷史對話紀錄」與「最新訊息」重新打包成一個完整的 Context，一次性發送給模型處理。模型是透過 Transformer 架構中的「KV Cache」來計算並暫存這些上下文的特徵矩陣以加速生成。當該次請求完成，伺服器記憶體中的 KV Cache 通常會被清空，除非平台有特別提供 Session 暫存機制（如 Context Caching）。

### 如果我的專案超過了模型支援的最大上下文長度，我該如何解決？

當資訊量超出最大 Context 限制時，有幾種常見的工程解法：1. 實作檢索增強生成（RAG）：將大文件切分為多個 Chunk 並建立向量索引，只將與使用者問題最相關的 Chunk 放入 Context。2. 摘要層遞法（Recursive Summarization）：讓模型先對文件的各個章節分別進行重點摘要，然後將摘要內容組合起來作為最終的 Context。3. 使用圖數據庫（Graph Database）：將文件轉換為知識圖譜，透過精確的實體關聯檢索來取代暴力的全文輸入。這些方法都能有效突破 Context 上限，同時保持良好的推理品質。

---

來源：https://aiterms.tw/terms/context
快查頁：https://aiterms.tw/terms/context
最後更新：2026/06/27
深度解說：https://aiterms.tw/learning/what-is-context