完整定義
BERT (Bidirectional Encoder Representations from Transformers) 是一種基於 Transformer 架構的雙向編碼器模型,用於理解文本的語義和上下文。它透過在大量未標記的文本資料上進行預訓練,學習語言的深層表示,能夠捕捉詞語之間的複雜關係。廣泛應用於自然語言理解任務,例如文本分類、問答系統和命名實體識別。
白話說明
你看到句子中間有個詞被遮住,模型能不能根據前後文猜出來?
你可以把 BERT 想成會同時看左右文的雙向編碼器。
它很擅長理解語意、分類與問答這類需要上下文的任務。
記住這句
先看左右文,再猜被遮住的字
比喻:BERT 就像一個超級厲害的閱讀理解高手 -- 它讀一篇文章時,會同時看前後文來理解每個字的真正意思,而不是單向地從頭讀到尾,所以對語義的掌握特別精準。
容易混淆
BERT vs GPT?
BERT:雙向看上下文的編碼器
GPT:主要用前文往後生成
最關鍵的區別:BERT 偏理解,GPT 偏生成
BERT vs 語言模型?
BERT:訓練時常用遮蔽詞預訓練
語言模型:泛指任何處理語言的模型
最關鍵的區別:BERT 是語言模型的一種,但訓練目標和架構很有特色
BERT vs Seq2Seq?
BERT:只有編碼器
Seq2Seq:通常有編碼器和解碼器兩部分
最關鍵的區別:BERT 很適合理解任務,不是典型生成架構
實際案例
情感分類
模型讀完整句子後判斷是正面還是負面,因為前後文對語意影響很大
問答系統
系統先理解問題與段落內容,再找出最可能的答案位置
演算法與應用
- 重點
- 預訓練
- 你要看什麼
- 大規模文本學語言規律
- 為什麼重要
- 讓模型先學通用語意
- 重點
- 微調
- 你要看什麼
- 接到下游任務再學一次
- 為什麼重要
- 把通用能力轉成特定應用
- 重點
- 限制
- 你要看什麼
- 輸入長度有限
- 為什麼重要
- 長文本通常要切段處理
情境判斷
Q1:如果你要做句子分類或問答,BERT 通常合不合適?
通常合適,因為它很會抓上下文語意
Q2:如果你要長篇續寫,BERT 會是最自然的選擇嗎?
通常不是,生成任務多半更偏向解碼器架構
常見問題
原生 BERT 不擅長自由生成,因為它主要是編碼器架構。
看任務。理解型任務常用 BERT,生成型任務多半更適合 GPT 類模型。
常見版本有上限,超長文本通常要用截斷、滑窗或長文本變體。
出現在這些考古題
官方公告試題的逐題解析裡,這 5 題把雙向編碼器表示列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本