完整定義
編碼器(Encoder)是一種神經網路架構中的關鍵組件,其主要功能是將輸入資料(如文本、圖像、語音)轉換為一種壓縮且具有語義信息的數值表示,通常稱為「隱藏狀態」、「嵌入向量」或「上下文向量」。編碼器旨在捕捉輸入數據的關鍵特徵和模式,並將其編碼成一個固定長度或可變長度的向量,以便後續的解碼器或下游任務(如分類、情感分析)能夠利用這些高層次特徵。在序列到序列(Seq2Seq)模型中,編碼器將整個輸入序列壓縮成一個單一的上下文向量,作為解碼器生成輸出的基礎。Transformer 模型中的編碼器則能處理更長的序列並捕捉複雜的依賴關係。
白話說明
你把一長段文字丟進模型時,有沒有想過它怎麼先把內容收進腦袋?
你可以把編碼器想成一個會先讀懂輸入、再把重點濃縮成向量的整理器。
它其實就是把文字、圖片或其他資料轉成固定長度或上下文化的表示,方便後面的解碼器、分類器或檢索系統使用。
記住這句
先把輸入讀懂,再變成好用的表示。
比喻:編碼器 就像一位經驗老道的筆記達人 -- 他能把一長串的演講內容,濃縮成幾個關鍵的重點和摘要,而且還能保留原始演講最重要的資訊。
容易混淆
編碼器 vs 解碼器
編碼器負責把輸入整理成表徵,解碼器負責把表徵轉成輸出,像翻譯、摘要或回覆。
編碼器 vs 嵌入表示
嵌入表示是向量結果,編碼器是產生這些向量的模型或模組。
編碼器 vs 轉換器架構
編碼器是組件,轉換器架構是整個系統設計,兩者不是同一層級。
最關鍵的區別: 編碼器是在做「理解和壓縮」,不是在做「輸出生成」。
實際案例
案例一:客服工單分類
使用者留言很長,編碼器先把整段話濃縮成語意向量,再交給分類器判斷是退貨、報修還是抱怨。
案例二:語意搜尋
你輸入「台北捷運到機場多久」,編碼器把查詢轉成向量,和文件庫裡的文章向量比對,找出最相關的答案。
演算法與應用
編碼器的核心工作是特徵抽取,常見做法包括 RNN 編碼、CNN 編碼和 Transformer 編碼。BERT 這類雙向編碼器會同時看左右文,適合分類、抽取和檢索。當輸入很長時,編碼器通常要配合池化、注意力或分段處理,才能保留關鍵資訊。
中英對照與常見說法
要注意 encoder 這個字在資訊領域有另一個完全不同的意思:影音編碼器,例如 H.264 encoder,那是講壓縮格式轉換,跟神經網路無關。看到 encoder 先確認上下文。
- 中文
- 編碼器
- 英文
- Encoder
- 說明
- 把輸入壓成一組向量表示
- 中文
- 解碼器
- 英文
- Decoder
- 說明
- 把向量表示還原成輸出
- 中文
- 編碼器解碼器架構
- 英文
- Encoder-Decoder
- 說明
- 兩者串接,常用於翻譯與摘要
- 中文
- 自編碼器
- 英文
- Autoencoder
- 說明
- 編碼再解碼還原自己,用於壓縮與異常偵測
- 中文
- 潛在表示
- 英文
- latent representation
- 說明
- 編碼器輸出的那組向量,也叫 embedding
Encoder 在三種架構裡扮演什麼角色
只有 Encoder(encoder-only)。
代表是 BERT 這一路。輸入一段文字,輸出每個字的向量表示。因為能同時看到左右兩邊的上下文,很適合做分類、命名實體辨識、語意相似度這類「理解」任務。它不負責生成文字。
只有 Decoder(decoder-only)。
代表是 GPT 這一路,也是現在多數大型語言模型的形狀。逐字往下預測,每個位置只能看到自己左邊的內容。適合生成任務。
Encoder 加 Decoder(encoder-decoder)。
代表是原始的 Transformer 與 T5。Encoder 先把整段輸入讀完並壓成向量,Decoder 再一邊參考這組向量、一邊生成輸出。輸入與輸出是兩種不同東西時最適合,例如中翻英、長文摘要、語音轉文字。
判斷方式很直接:只要理解,用 encoder-only;只要接續生成,用 decoder-only;要把一種東西轉成另一種東西,用 encoder-decoder。
情境判斷
Q1(直覺題): 你要把一段文章轉成向量,拿去做分類,這時候比較需要編碼器還是解碼器?
比較需要編碼器,因為分類任務重點是先把輸入變成有意義的表示,而不是生成新文字。
Q2(判斷題): 如果同一段輸入在不同上下文下意思會變,單純固定詞向量夠不夠?
不夠,這時候要用能看上下文的編碼器,像 Transformer 或 BERT 類模型,因為同一個詞在不同句子裡的語意可能不一樣。
iPAS 考題
Q1: 編碼器最主要的工作是什麼?
(A) 把輸入轉成可供後續任務使用的表示
(B) 把表示逐字生成成輸出
(C) 自動產生標註資料
(D) 直接取代損失函數
(A)。編碼器的核心就是讀懂輸入,並把它整理成模型可以使用的特徵表示。
Q2: 下列哪一種任務最常用編碼器作為主要模組?
(A) 文本分類
(B) 語音合成
(C) 自動寫作
(D) 文字接龍
(A)。分類任務通常先把輸入編成向量,再交給分類頭做判斷。
常見問題
詞嵌入是詞的向量表示,編碼器是把整段輸入變成表示的模型。詞嵌入可以是編碼器的一部分,但兩者不是同一件事。
當你的任務重點是理解、分類、檢索、抽取或壓縮輸入資訊時,就很常用到編碼器。
很多人以為編碼器只是把文字變短,實際上它更重要的工作是保留語意重點,讓後續模型能更有效利用資訊。
不是。馬達或工業設備上的編碼器是一種感測器,把轉軸的角度或位置轉成電子訊號,常見有增量式與絕對式。本頁講的是神經網路裡的編碼器,負責把文字、影像等輸入轉成向量表示,兩者只是中文名稱相同。
編碼器把輸入轉成內部表示,解碼器再根據這個表示產生輸出。以機器翻譯為例,編碼器讀完中文句子得到向量表示,解碼器依此逐字生成英文。Transformer 可以兩者都用,也可以只用其中一個,例如 BERT 只用編碼器,GPT 系列只用解碼器。
範例考題
在生成式 AI 文字生成模型設計中,Encoder-Decoder 與 Decoder-only 為常見架構。下列何者最能正確說明兩者在資訊處理與生成機制上的核心差異?
- AEncoder-Decoder 透過編碼與解碼階段處理序列,Decoder-only 則以單一模型完成處理
- BEncoder-Decoder 區分輸入理解與內容生成階段,Decoder-only 以單一模型同時處理上下文與生成
- CDecoder-only 架構主要依賴外部知識檢索,Encoder-Decoder 則不需要
- DEncoder-Decoder 架構僅適用於翻譯任務,Decoder-only 架構較適合對話任務
正解是 B:Encoder-Decoder 區分輸入理解與內容生成階段,Decoder-only 以單一模型同時處理上下文與生成
解析:Encoder-Decoder 架構將輸入理解(編碼)與內容生成(解碼)分為兩個階段;Decoder-only 架構以單一模型同時處理上下文理解與內容生成,是兩者在資訊處理機制上的核心差異。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把編碼器列為延伸術語。
立即測驗
想測試你對 編碼器 的掌握程度?用考古題作答
相關術語
來源
這個術語目前沒有標註外部來源。
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本