AITerms 登入
自然語言處理資料處理AI基礎

詞形還原(Lemmatization)是什麼?

詞形還原是自然語言處理中將單詞還原為其基本形式(詞元)的過程,考慮了單詞的語法和上下文。

完整定義

詞形還原是一種自然語言處理技術,旨在將單詞轉換為其詞典形式,稱為詞元。與詞幹提取不同,詞形還原考慮了單詞的語法和上下文,以確保詞元是有效的單詞。這使得詞形還原在需要語義準確性的應用中更為準確。

白話說明

你有沒有在英文搜尋裡,明明意思一樣,卻因為單字變化找不到結果?

你可以把詞形還原想成,把單字帶回字典裡最基本的樣子。

它其實就是把不同詞形整理回詞元,還會看語法和上下文。

這樣搜尋、分析和分類時,電腦比較不會被字形變化搞亂。

記住這句

先看懂詞,再把詞變回字典型。

比喻:詞形還原就像是把各種變形的積木都還原成最基本的方形積木 -- 無論是「跑著」、「跑了」、「跑」還是「正在跑」,它都能聰明地辨識出它們的「原型」都是「跑」,而不是簡單地砍掉尾巴。

容易混淆

詞形還原 vs 詞幹提取

詞形還原會查字典,詞幹提取只把尾巴砍掉。

一個重視正確詞形,一個重視速度。

詞形還原 vs 分詞

分詞是把句子切成詞,詞形還原是把詞變回基本形式。

一個在切開文字,一個在整理文字。

最關鍵的區別: 切詞和還原不是同一件事。

實際案例

英文搜尋引擎

使用者搜 running 時,也能找到 run、runs、ran 相關文件,召回率通常會更好。

客服意圖分類

把 likes、liked、liking 都整理到同一語義底下,分類器比較不容易被詞形干擾。

深入了解

詞形還原通常需要詞典或語言規則,處理英文時會搭配詞性標註一起看。

它比詞幹提取準確,但速度較慢,也比較依賴語言工具品質。

對英文 NLP 很重要,對其他語言則要看詞形變化有多複雜。

中英對照與常見說法

說法
詞形還原
出現場合
台灣與中國大陸通用譯名
說法
词形还原
出現場合
簡體寫法
說法
Lemmatization
出現場合
英文原名
說法
詞元化、詞條還原
出現場合
常見變體
說法
Lemma(詞元、詞條)
出現場合
還原後的那個標準形式

跟詞幹提取的差別,這是最常一起被問的

兩者的目的相同:把同一個詞的不同變形歸到一起,讓「study、studies、studying」被視為同一個東西。差別在手段與品質的取捨。

選擇準則:只是要做檢索或分群,詞幹提取夠用而且快;要做語意分析、要把結果拿給人看、或要跟詞典與知識庫對接,就得用詞形還原。

詞形還原一定要先做詞性標註。同樣的字在不同詞性下還原結果不同:meeting 當名詞還原成 meeting,當動詞則還原成 meet。沒有給詞性的詞形還原工具,預設多半當名詞處理,錯誤率會明顯上升。

做法
詞幹提取(Stemming,词干提取)
依規則砍掉字尾
詞形還原(Lemmatization)
查詞典並判斷詞性
產出
詞幹提取(Stemming,词干提取)
不一定是真的單字
詞形還原(Lemmatization)
一定是字典裡的詞
速度
詞幹提取(Stemming,词干提取)
快
詞形還原(Lemmatization)
慢,需要查詞典與詞性標註
例子 studies
詞幹提取(Stemming,词干提取)
studi
詞形還原(Lemmatization)
study
例子 better
詞幹提取(Stemming,词干提取)
better(規則砍不動)
詞形還原(Lemmatization)
good
例子 running
詞幹提取(Stemming,词干提取)
run
詞形還原(Lemmatization)
run

中文需要這一步嗎

中文沒有動詞變位與名詞複數,所以傳統意義的詞形還原在中文幾乎用不到。中文的對應問題是斷詞(把連續字串切成詞)與同義詞正規化(「計程車」與「出租車」、「網路」與「网络」)。

這也是為什麼中文自然語言處理的前處理流程跟英文長得很不一樣:英文是斷詞加詞形還原加停用詞移除,中文是斷詞加繁簡與全半形正規化加同義詞對應。

現在還需要做嗎

用詞袋模型、TF-IDF、BM25 這類基於字面比對的方法時,詞形還原仍然重要,因為字面對不上就是比不到。

用子詞切分加上嵌入模型時通常不需要,甚至有害。現代模型的斷詞器會把 studies 切成子詞,嵌入空間裡它跟 study 本來就靠得很近,額外的還原反而可能丟掉時態與單複數這些有用的訊息。

判斷準則很簡單:下游是字面比對就做,下游是語意向量就別做。

情境判斷

Q1(直覺題): 如果你要做英文搜尋,想把不同詞形一起查到,該先考慮什麼?

詞形還原,因為它能把不同變化收回同一詞元。

Q2(判斷題): 所有語言都適合用同一套詞形還原工具嗎?

不一定,不同語言的詞形規則差很多,工具要跟語言配套。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本