AITerms 登入
自然語言處理資料處理

分詞(Tokenization)是什麼?

分詞是自然語言處理(NLP)中的基礎步驟,旨在將連續的文本序列拆解成更小的、具有語義意義的單元,例如詞彙、子詞或字符,這些單元稱為 tokens。

完整定義

分詞是一種自然語言處理的基礎技術,用於將一段文本拆解成更小的單元,例如詞彙、子詞或字符。這些單元被稱為 tokens,是後續文本分析、模型訓練的基礎。分詞的品質直接影響自然語言處理任務的效能,例如文本分類、機器翻譯等。

白話說明

你有沒有看過一句話被切成好幾段,模型才開始懂它在說什麼?

你可以把分詞想成「把文字切成模型看得懂的小單位」

切法會影響理解、成本和上下文長度,所以不是隨便切就好

中文、英文和程式碼的切法都可能不一樣

記住這句

切得好,模型才知道哪裡是字、哪裡是意思。

比喻:分詞 (Tokenization) 就像把一長串麵條剪成一小段一小段 -- 模型不能直接吃一整碗麵,需要先把它切成小段,才方便一口一口吃掉和消化。

容易混淆

分詞 vs 符記

分詞是切分動作

符記是切完後的單位

最關鍵的區別:一個是過程,一個是結果

分詞 vs 斷詞

中文常會用斷詞這個說法

英文更常直接說 tokenization

最關鍵的區別:不同語言的習慣用語不同

分詞 vs 詞典切分

詞典切分是其中一種方法

子詞切分、字元切分也很常見

最關鍵的區別:方法不只一種

實際案例

中文客服

「自然語言處理」可能被切成多個子詞,這能讓模型遇到新詞時還保有一定理解能力

程式碼分析

把程式碼切成 token 後,模型更容易抓到關鍵字、運算子和結構符號

演算法與應用

字元切分每個字元都獨立成 token簡單但可能太碎
子詞切分把常見片段保留成 token平衡詞彙量和覆蓋率
BPE先從字元開始合併常見組合很常見的實作方法
特殊符號保留空白、換行、標記符號這些常影響模型理解

情境判斷

Q1(直覺題):你要讓模型讀懂一個新品牌名,分詞會影響嗎?

會,切分得好,模型更容易把新詞拆成可理解的片段。

Q2(判斷題):你把所有句子都硬切成單字,效果一定最好嗎?

不一定,切太細會讓序列變長,成本和學習難度都可能上升。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本