AITerms 登入
iPAS 中級 自然語言處理深度學習大型語言模型

BERT(Bidirectional Encoder Representations from Transformers)是什麼?

Google 的雙向語言模型,用 MLM(遮罩)和 NSP 預訓練,擅長理解文本語意

完整定義

BERT(Bidirectional Encoder Representations from Transformers)是 Google 開發的預訓練語言模型,透過雙向注意力機制理解上下文語義,廣泛用於文本分類、問答系統和命名實體辨識等 NLP 任務。

白話說明

你在做文本理解,想讓模型同時看前後文時,你會怎麼判斷它真正的作用?

你可以把它想成 Google 的雙向語言模型,用 MLM(遮罩)和 NSP 預訓練,擅長理解文本語意。

在 你在做文本理解,想讓模型同時看前後文時 這種情境裡,這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。

比喻

BERT 就像一個非常聰明的學生,他不是只從左到右或從右到左讀書,而是會同時看完整篇文章,把中間的某些字遮起來,然後根據上下文去猜那些被遮住的字是什麼。這樣一來,他就能很全面地理解每個字在句子裡的真正意思。

容易混淆

BERT vs GPT

BERT 偏理解,GPT 偏生成,一個看前後文,一個主要沿著前文往下寫。

編碼器 vs 解碼器

BERT 是編碼器路線,擅長表徵文本;解碼器路線則擅長逐字生成。

MLM vs 因果預測

MLM 會把字遮起來讓模型補空格,因果預測則是依序猜下一個 token。

實際案例

案例 1:搜尋理解

使用者輸入「台北到高雄火車票」,BERT 可以更好抓到整句意圖,而不只是拆字比對。

案例 2:情緒分類

一句評論裡有反諷或轉折時,BERT 常比單向模型更容易看懂上下文。

演算法與應用

面向
核心
重點
先做遮罩式預訓練,再拿去微調分類、問答、抽取等任務。
面向
特點
重點
雙向上下文讓它在理解任務上很強。
面向
注意
重點
原始版本計算成本不低,實務常搭配輕量化變體。

情境判斷

Q1(判斷題): 如果你要做垃圾郵件分類,會不會直接拿 BERT 微調?

可以,這正是 BERT 很常見的用法,因為它很適合理解文本語意。

Q2(判斷題): 如果你的任務是逐字寫文章,BERT 會是適合的選擇嗎?

不會,這時通常會選更擅長生成的因果語言模型。

iPAS 考試出題分析

BERT 屬於 iPAS AI 應用規劃師評鑑範圍(中級),實際考試內容以官方公告為準。

常見一起複習的方向包含:自然語言處理模型架構、預訓練模型與遷移學習、深度學習在 NLP 的應用。

常見問題

立即測驗

想測試你對 BERT 的掌握程度?用考古題作答

相關術語

來源

這個術語目前沒有標註外部來源。

考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。

其他格式:Markdown 版本