完整定義
資料前處理是機器學習流程中至關重要的一環,它涉及對原始資料進行一系列轉換,使其更適合模型訓練。這些轉換包括清理缺失值、處理異常值、轉換資料格式、縮放數值特徵以及整合來自不同來源的資料。有效的資料前處理能顯著提升模型效能和泛化能力。
白話說明
你有沒有在你拿到一份很亂的原始資料,準備丟進模型前時,還在想這件事到底該怎麼看?
把它想成先洗乾淨、排整齊,再交給模型。
缺值、亂碼、格式不一致和極端值,都可能讓模型學壞。
前處理做得好,模型通常更穩,訓練也更順。
記住這句
先整理好,再讓模型學。
比喻:資料前處理就像廚師備料 -- 在真正下廚烹飪前,先把食材洗淨、切好、去皮去骨,確保食材品質,這樣才能煮出美味的料理。
容易混淆
feature-engineering
vs 特徵工程:前處理是把原始資料整理乾淨,讓它「能用」;特徵工程是在乾淨資料上創造新的、更有用的「特徵」,讓模型「更好用」。
常見混淆:資料前處理 vs feature-engineering
前處理是把資料整理好,特徵工程是在乾淨資料上做出更有用的特徵。
實際案例
缺值清理
把空白欄位補值或標記,避免模型直接報錯。
數值縮放
把收入、年齡和次數放到比較可比的尺度。
演算法與應用
1. 前處理包括清理、轉換、整合和縮放,不只是把髒資料刪掉。
2. 這一步會直接影響後面的特徵工程和模型表現。
3. 不同模型對前處理敏感度不同,但完全不處理通常風險更大。
情境判斷
Q1:資料有缺值、格式亂七八糟,先做什麼?
先做資料前處理,整理到模型能接受的樣子。
Q2:前處理做好後就不用再看資料了嗎?
不是,資料品質還是要持續檢查,因為新資料可能再次變亂。
常見問題
原始資料通常包含缺失值、異常值、不一致的格式以及不相關的資訊,這些都會影響模型的效能。資料前處理可以將原始資料轉換成乾淨、一致且適合模型訓練的格式,從而提高模型的準確性和效率。
常用的資料前處理方法包括資料清理(處理缺失值、異常值和重複值)、資料轉換(將資料轉換成適合模型訓練的格式)、資料縮放(將數值特徵縮放到相同的範圍內)、資料降維(減少資料的維度)和資料整合(將來自不同來源的資料整合到一起)。
可以使用交叉驗證或獨立測試集等方法來評估資料前處理的效果。如果資料前處理確實提高了模型的效能,則說明其是有效的。如果資料前處理反而降低了模型的效能,則需要重新評估和調整前處理方法。
出現在這些考古題
官方公告試題的逐題解析裡,有 26 題把資料前處理列為延伸術語,這裡列出 5 題。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本