AITerms 登入
自然語言處理資料處理模型訓練

位元組對編碼(Byte Pair Encoding)是什麼?

位元組對編碼(BPE)是一種資料壓縮技術,也常用於自然語言處理中,作為一種詞彙標記化方法,將單詞分解成更小的子詞單元。

完整定義

位元組對編碼(Byte Pair Encoding, BPE)是一種簡單的資料壓縮演算法,最初用於壓縮文字資料。在自然語言處理(NLP)領域,BPE被廣泛應用於詞彙標記化,它通過迭代地合併文本中最常見的字節對(或字符對)來創建詞彙表,從而有效地處理未登錄詞(OOV)問題。

白話說明

你想把罕見字或新單字拆成模型看得懂的片段時,你會怎麼判斷它真正的作用?

你可以把它想成 位元組對編碼(BPE)是一種資料壓縮技術,也常用於自然語言處理中,作為一種詞彙標記化方法,將單詞分解成更小的子詞單元。

在 你想把罕見字或新單字拆成模型看得懂的片段時 這種情境裡,這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。

比喻

BPE 就像一個聰明的文字壓縮員 -- 它會找出文本中出現頻率最高的兩個相鄰字元或字串,然後把它們合併成一個新的「字」。例如 "l o w" 和 "e r" 經常一起出現,它就把它們合併成 "low er",這樣詞彙表就不會太大,又能處理沒看過的單字。

容易混淆

BPE vs WordPiece

兩者都切子詞,但合併規則和目標略有不同。

BPE vs SentencePiece

SentencePiece 更強調把分詞流程和模型訓練整合起來。

BPE vs 斷詞

傳統斷詞是切詞語,BPE 是切成更細的子詞單元。

實際案例

案例 1:罕見人名

即使整個名字沒出現過,子詞拆開後模型仍可能看懂。

案例 2:多語言詞彙表

用子詞可以把不同語言共享部分詞根,減少詞彙表壓力。

演算法與應用

面向
核心
重點
把常見字元對反覆合併,形成可重用的子詞。
面向
好處
重點
詞彙表不必無限大,也比較能處理未登錄詞。
面向
注意
重點
切太細會損失語意,切太粗又會增加詞表。

情境判斷

Q1(判斷題): 如果一個新單字模型沒見過,BPE 就完全沒辦法嗎?

通常不是,它會拆成已知子詞再組回來。

Q2(判斷題): 詞彙表越大就一定越好嗎?

不一定,詞表大會增加參數和稀疏性。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本