完整定義
位元組對編碼(Byte Pair Encoding, BPE)是一種簡單的資料壓縮演算法,最初用於壓縮文字資料。在自然語言處理(NLP)領域,BPE被廣泛應用於詞彙標記化,它通過迭代地合併文本中最常見的字節對(或字符對)來創建詞彙表,從而有效地處理未登錄詞(OOV)問題。
白話說明
你想把罕見字或新單字拆成模型看得懂的片段時,你會怎麼判斷它真正的作用?
你可以把它想成 位元組對編碼(BPE)是一種資料壓縮技術,也常用於自然語言處理中,作為一種詞彙標記化方法,將單詞分解成更小的子詞單元。
在 你想把罕見字或新單字拆成模型看得懂的片段時 這種情境裡,這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。
比喻
BPE 就像一個聰明的文字壓縮員 -- 它會找出文本中出現頻率最高的兩個相鄰字元或字串,然後把它們合併成一個新的「字」。例如 "l o w" 和 "e r" 經常一起出現,它就把它們合併成 "low er",這樣詞彙表就不會太大,又能處理沒看過的單字。
容易混淆
BPE vs WordPiece
兩者都切子詞,但合併規則和目標略有不同。
BPE vs SentencePiece
SentencePiece 更強調把分詞流程和模型訓練整合起來。
BPE vs 斷詞
傳統斷詞是切詞語,BPE 是切成更細的子詞單元。
實際案例
案例 1:罕見人名
即使整個名字沒出現過,子詞拆開後模型仍可能看懂。
案例 2:多語言詞彙表
用子詞可以把不同語言共享部分詞根,減少詞彙表壓力。
演算法與應用
- 面向
- 核心
- 重點
- 把常見字元對反覆合併,形成可重用的子詞。
- 面向
- 好處
- 重點
- 詞彙表不必無限大,也比較能處理未登錄詞。
- 面向
- 注意
- 重點
- 切太細會損失語意,切太粗又會增加詞表。
情境判斷
Q1(判斷題): 如果一個新單字模型沒見過,BPE 就完全沒辦法嗎?
通常不是,它會拆成已知子詞再組回來。
Q2(判斷題): 詞彙表越大就一定越好嗎?
不一定,詞表大會增加參數和稀疏性。
常見問題
不一樣,中文分詞是詞級切分,BPE 是更細的子詞切分。
把未知詞拆成已知子詞組合。
因為它能平衡詞彙表大小、泛化能力和計算成本。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本