AITerms 登入
大型語言模型自然語言處理深度學習

雙向編碼器表示(BERT)是什麼?

BERT是一種基於Transformer架構的雙向編碼器模型,用於理解文本的語義和上下文,廣泛應用於自然語言理解任務。

完整定義

BERT (Bidirectional Encoder Representations from Transformers) 是一種基於 Transformer 架構的雙向編碼器模型,用於理解文本的語義和上下文。它透過在大量未標記的文本資料上進行預訓練,學習語言的深層表示,能夠捕捉詞語之間的複雜關係。廣泛應用於自然語言理解任務,例如文本分類、問答系統和命名實體識別。

白話說明

你看到句子中間有個詞被遮住,模型能不能根據前後文猜出來?

你可以把 BERT 想成會同時看左右文的雙向編碼器。

它很擅長理解語意、分類與問答這類需要上下文的任務。

記住這句

先看左右文,再猜被遮住的字

比喻:BERT 就像一個超級厲害的閱讀理解高手 -- 它讀一篇文章時,會同時看前後文來理解每個字的真正意思,而不是單向地從頭讀到尾,所以對語義的掌握特別精準。

容易混淆

BERT vs GPT?

BERT:雙向看上下文的編碼器

GPT:主要用前文往後生成

最關鍵的區別:BERT 偏理解,GPT 偏生成

BERT vs 語言模型?

BERT:訓練時常用遮蔽詞預訓練

語言模型:泛指任何處理語言的模型

最關鍵的區別:BERT 是語言模型的一種,但訓練目標和架構很有特色

BERT vs Seq2Seq?

BERT:只有編碼器

Seq2Seq:通常有編碼器和解碼器兩部分

最關鍵的區別:BERT 很適合理解任務,不是典型生成架構

實際案例

情感分類

模型讀完整句子後判斷是正面還是負面,因為前後文對語意影響很大

問答系統

系統先理解問題與段落內容,再找出最可能的答案位置

演算法與應用

重點
預訓練
你要看什麼
大規模文本學語言規律
為什麼重要
讓模型先學通用語意
重點
微調
你要看什麼
接到下游任務再學一次
為什麼重要
把通用能力轉成特定應用
重點
限制
你要看什麼
輸入長度有限
為什麼重要
長文本通常要切段處理

情境判斷

Q1:如果你要做句子分類或問答,BERT 通常合不合適?

通常合適,因為它很會抓上下文語意

Q2:如果你要長篇續寫,BERT 會是最自然的選擇嗎?

通常不是,生成任務多半更偏向解碼器架構

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 5 題把雙向編碼器表示列為延伸術語。

相關術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本