AITerms 登入
自然語言處理資料處理AI基礎

詞幹提取(Stemming)是什麼?

詞幹提取是自然語言處理中將單詞簡化為其詞幹或詞根形式的過程,通常通過刪除後綴來實現。

完整定義

詞幹提取是一種自然語言處理技術,旨在將單詞簡化為其詞幹或詞根形式。它通常通過刪除單詞的後綴(例如,'-ing'、'-ed'、'-s')來實現。詞幹提取的主要目標是減少詞彙的維度,並將相關的單詞歸為一類。與詞形還原不同,詞幹提取不考慮單詞的語法或上下文。

白話說明

你有沒有想過,文字送進模型前,為什麼總要先切一刀、再整理一下?

你可以把它想成把文字整理成模型看得懂的單位。

詞幹提取 的重點是 詞幹提取是自然語言處理中將單詞簡化為其詞幹或詞根形式的過程,通常通過刪除後綴來實現。

它重要,是因為後面的分類、摘要、搜尋或生成,幾乎都靠這一步打底。

記住這句

先切文字,再談語意。

比喻:詞幹提取就像把水果削皮去核,只留下最核心的果肉 -- 它會把一個字的不同變化形式(例如「running」、「runs」、「ran」)都還原到它最原始的「run」,去除掉詞尾的變化,這樣電腦就能把這些詞都當成同一個概念來處理。

容易混淆

詞幹提取 vs 詞形還原

詞幹提取:偏向 把文字整理成模型可用的單位

詞形還原:偏向 詞形還原,偏向字典基本形

最關鍵的區別:詞幹提取看的是「把文字整理成模型可用的單位」,詞形還原看的是「詞形還原,偏向字典基本形」。

詞幹提取 vs 分詞

詞幹提取:偏向 把文字整理成模型可用的單位

分詞:偏向 把文字切開的前置步驟

最關鍵的區別:詞幹提取看的是「把文字整理成模型可用的單位」,分詞看的是「把文字切開的前置步驟」。

實際案例

案例:客服信件先做詞幹或子詞切分

再送進分類模型,比直接硬吃原文更穩

案例:長篇會議紀錄先做摘要

管理者不用看完整文章,也能抓到重點

演算法與應用

先把詞、子詞或詞幹整理好,模型才有穩定輸入

文字表示方法不同,後面的分類和搜尋效果會差很多

常見任務是分類、摘要、翻譯和關鍵詞萃取

詞幹提取與詞形還原的差別

這兩個常被放在一起講,也最常被搞混。兩者都是把單字變回基本形式,但做法與結果完全不同。

實際比較幾個例子:

第一列與第二列說明了關鍵差別。詞幹提取只是機械地砍字尾,所以 studies 變成不存在的 studi;詞形還原查字典,所以 better 能還原成 good。

最後一列點出詞幹提取的風險:不同演算法對同一個字可能給出不同結果,Porter 演算法把 caring 處理成 care,某些較激進的演算法會處理成 car,那就跟「汽車」撞在一起了。這種把不該合併的字合併掉的錯誤叫過度提取(over-stemming)。

項目
做法
詞幹提取(Stemming)
依規則砍字尾
詞形還原(Lemmatization)
查字典並判斷詞性
項目
結果
詞幹提取(Stemming)
可能不是真的單字
詞形還原(Lemmatization)
一定是字典裡的單字
項目
速度
詞幹提取(Stemming)
快
詞形還原(Lemmatization)
慢
項目
需要詞性標註嗎
詞幹提取(Stemming)
不需要
詞形還原(Lemmatization)
需要
原字
studies
Stemming
studi
Lemmatization
study
原字
better
Stemming
better
Lemmatization
good
原字
running
Stemming
run
Lemmatization
run
原字
was
Stemming
wa
Lemmatization
be
原字
caring
Stemming
care 或 car(依演算法而異)
Lemmatization
care

什麼時候該用哪一個

搜尋與檢索用詞幹提取。 速度快,而且搜尋只需要查詢詞與文件詞被砍成同一個形式就能配對,那個形式是不是真的單字並不重要。Elasticsearch 與 BM25 的預設流程用的都是詞幹提取。

需要語意分析用詞形還原。 情感分析、資訊抽取、需要人看得懂中間結果的場合,都該用詞形還原。

中文兩個都不需要。 中文沒有詞形變化,該做的是斷詞(word segmentation)。這是中英文預處理流程最大的差異之一。

用大型語言模型時通常兩個都不用。 現代的子詞切分(BPE、SentencePiece)本來就會把 running 拆成 run 加 ##ing,模型自己能處理形態變化。詞幹提取與詞形還原現在主要用在傳統的關鍵字檢索管線裡,那條路徑仍然沒有被取代(見 BM25)。

情境判斷

Q1(直覺題): 你要把一堆客服留言分成抱怨、詢問和稱讚,應該先做什麼?

先把文字切成模型能處理的單位,再做分類。

Q2(判斷題): 遇到超長中文句子和很多新詞時,還能沿用同一種切法嗎?

看情況,切分方式要跟語言和任務一起調,不然效果可能會掉。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本