AITerms 登入
機器學習深度學習模型訓練

模型壓縮(Model Compression)是什麼?

模型壓縮是指減少機器學習模型大小和計算複雜度的技術,以便在資源有限的設備上部署,同時保持模型性能。

完整定義

模型壓縮是一種減少機器學習模型大小和計算複雜度的技術。它旨在降低模型對儲存空間、記憶體和計算資源的需求,使其能夠在資源有限的設備上(例如,手機、嵌入式系統)部署,同時保持模型的預測準確度。常見技術包括量化、剪枝和知識蒸餾。

白話說明

你有沒有碰過模型太大,手機裝不下、伺服器也跑得吃力?

你可以把模型壓縮想成,透過剪枝、量化、蒸餾等方法,把模型變小、變快、變省。

它重要在於,很多場景不是比誰最大,而是比誰能在有限資源裡維持夠好的效果。

記住這句

把大模型瘦身,換速度和部署彈性。

比喻:模型壓縮就像把一本厚重的教科書濃縮成一本精華筆記 -- 雖然體積變小了,但重要的知識點都還在,這樣更方便攜帶,考試時也能更快複習。

容易混淆

模型壓縮 vs 混合精度訓練

模型壓縮:把模型本身變小或變簡。

混合精度訓練:訓練時混著用不同數值精度。

最關鍵的區別:前者偏模型變形,後者偏訓練策略。

模型壓縮 vs 模型量化

模型壓縮:是更大的總稱。

模型量化:是壓縮的一種常見方法。

最關鍵的區別:前者是家族名,後者是成員之一。

實際案例

手機端情緒辨識

原本太大的語音模型經過壓縮後,才能放進行動 App 內即時運行。

雲端成本下降

同樣的分類模型如果被蒸餾得更小,單次推論成本就能明顯下降。

演算法與應用

常見手法有剪枝、量化、知識蒸餾和低秩分解。

壓縮不只是縮參數,還要看速度、記憶體和準確率的整體取捨。

好的壓縮會盡量保留原模型能力。

中英對照與常見說法

說法
模型壓縮
出現場合
台灣正式用語
說法
模型压缩 / 模型压缩技术
出現場合
簡體用語,簡體技術文章多寫這個
說法
Model Compression
出現場合
英文原名
說法
模型輕量化
出現場合
產品端常用的說法,強調結果而非手段

四種主要技術,可以疊著用

這四種不是互斥的。實務上常見的組合是先蒸餾出一個小模型,再對它做量化,最後在目標硬體上驗證。

技術
量化(quantization)
做法
把 32 位元浮點數改用 8 位元整數或更低位元表示
典型壓縮幅度
記憶體降到四分之一或更少
主要代價
精度些微下降,低位元時較明顯
技術
剪枝(pruning)
做法
移除影響小的權重或整個通道
典型壓縮幅度
視結構而定,非結構化剪枝壓縮率高但不一定加速
主要代價
需要重新微調恢復精度
技術
知識蒸餾(knowledge distillation)
做法
用大模型當老師,訓練一個小模型模仿它的輸出
典型壓縮幅度
由小模型的大小決定
主要代價
要重新訓練,成本較高
技術
低秩分解(low-rank factorization)
做法
把大矩陣拆成兩個小矩陣相乘
典型壓縮幅度
視秩的選擇而定
主要代價
分解不當會傷精度

壓縮的目的不只是省空間

記憶體:能不能塞進裝置。手機、車用電腦、邊緣裝置的記憶體是硬限制,塞不下就完全不能用。

延遲:使用者等多久。這裡有個常被忽略的重點,參數變少不等於變快。非結構化剪枝把權重打成一堆零,但硬體仍照原本的矩陣尺寸算,實測速度可能完全沒變。要真的加速,通常得做結構化剪枝(整個通道、整個注意力頭移除)或用支援稀疏運算的硬體。

成本與能耗:推論次數乘上單次成本就是帳單。對線上服務來說,模型小一半往往直接對應到機器數量少一半。

評估壓縮結果一定要在目標硬體上實測,不能只看參數量。同一個壓縮方案在 GPU 上加速兩倍,在手機的神經網路加速器上可能因為不支援該運算而變慢。

情境判斷

Q1(情境題): 如果模型壓縮後準確率只掉一點點,值得嗎?

通常值得,尤其在部署空間、延遲或成本壓力很大的時候。

Q2(情境題): 如果壓縮後模型變很小,但速度沒變快,這正常嗎?

有可能。壓縮方法不一定直接改善實際推論時間,還要看硬體和實作。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 5 題把模型壓縮列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本