AITerms 登入
資料處理特徵工程

獨熱編碼(One-hot Encoding)是什麼?

獨熱編碼是一種將類別資料轉換為二元向量的方法,為每個類別建立獨立欄位,存在時標記為 1,其餘為 0

同主題的術語資料處理

完整定義

獨熱編碼是一種將類別型資料轉換為數值型資料的技術。它為每個類別建立一個新的二元特徵,並將該類別對應的特徵值設為 1,其餘特徵值設為 0。獨熱編碼能夠讓機器學習模型更好地處理類別型資料,避免模型誤解類別之間的順序關係。

白話說明

你有沒有把顏色、地區這種類別資料丟進模型後,才發現數字大小被誤會?

你可以把 獨熱編碼 想成 把類別變成模型看得懂的表示。

避免模型把類別大小誤當成順序,沒有順序的類別,就給它們各自一個開關 這件事就特別重要。

記住這句

沒有順序的類別,就給它們各自一個開關

比喻:獨熱編碼就像給每個類別發一張「專屬名片」 -- 假設你有紅、綠、藍三種顏色,紅色會拿到 [1, 0, 0],綠色是 [0, 1, 0],藍色是 [0, 0, 1],每個類別都有自己獨一無二的「亮燈」位置。

容易混淆

獨熱編碼 vs 標籤編碼

標籤編碼像給類別編號(紅=0, 綠=1, 藍=2),獨熱編碼像給每個類別一個獨立的二元開關,獨熱編碼避免了模型誤認為數字大小有意義的問題,更適合沒有順序關係的類別。

最關鍵的區別:一個展開成多欄,一個只用單欄編號。

獨熱編碼 vs 標籤編碼

獨熱編碼把每個類別拆成獨立開關,標籤編碼只是給一個編號

最關鍵的區別:有沒有把類別順序偷偷塞進去。

實際案例

案例 1:把水果類別展開成蘋果、香蕉、橘子三個欄位

案例 2:把城市名稱轉成獨立欄位,讓模型不把台北當成比台中更大

演算法與應用

核心意思就是:沒有順序的類別,就給它們各自一個開關。

類別少時很直觀,類別很多時向量會變得又寬又稀疏

遇到高基數類別時,常會改看 embedding 或其他編碼方式

怎麼做,以及維度會變多少

獨熱編碼把一個類別欄位展開成多個 0 與 1 的欄位,每一列只有一個位置是 1。

原始資料一欄「顏色」,有三種值:

一欄變三欄。規則很簡單:新增欄位數 = 該欄位的相異值個數。

這條規則就是它最大的限制。郵遞區號有幾千個值、商品編號有幾十萬個值,直接做獨熱編碼會產生一個極度稀疏的高維矩陣,記憶體吃不消,模型也學不動。

原始值
紅
顏色_紅
1
顏色_綠
0
顏色_藍
0
原始值
綠
顏色_紅
0
顏色_綠
1
顏色_藍
0
原始值
藍
顏色_紅
0
顏色_綠
0
顏色_藍
1

什麼時候該用,什麼時候不該用

該用:類別數少,而且類別之間沒有大小順序。 顏色、性別、國家、支付方式都是典型例子。這時獨熱編碼是正確做法,因為它不會憑空製造出「紅 < 綠 < 藍」這種不存在的順序關係。

不該用,改用標籤編碼(label encoding):類別本身有順序。 例如「小、中、大」「國小、國中、高中、大學」,直接編成 1、2、3、4 反而保留了有意義的資訊。

不該用,改用嵌入(embedding):類別數很多。 使用者 ID、商品 ID、詞彙表都屬於這一類。嵌入把每個類別對到一個低維稠密向量,維度可控,而且相似的類別會學到相近的向量,這是獨熱編碼做不到的(獨熱向量之間的距離永遠相同)。

一個容易踩的坑:虛擬變數陷阱(dummy variable trap)。 三種顏色其實只需要兩欄就能表達,因為兩欄都是 0 就代表第三種。全部展開會讓欄位之間完全共線,線性回歸會解不出唯一解。所以做線性模型時通常會丟掉一欄(drop_first),但樹模型與神經網路不受影響,不用丟。

情境判斷

Q2(判斷題): 類別數很多時,還適合直接用嗎?

看情況,類別一多維度會爆,常改用 embedding 或其他壓縮表示

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,有 7 題把獨熱編碼列為延伸術語,這裡列出 5 題。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本