完整定義
知識蒸餾是一種模型壓縮技術,用於將大型、複雜的「教師模型」的知識轉移到一個小型、輕量化的「學生模型」。學生模型透過模仿教師模型的輸出(例如,類別機率),學習到更泛化的知識,從而提升其效能,使其在資源受限的環境中也能有效部署。此方法常用於加速推論速度,並降低模型大小。
白話說明
如果大模型很強,但你只能把它放到手機或邊緣裝置上,怎麼辦?
你可以把它想成讓小模型向大模型學習,不是學完全部知識,而是學到做事的方法。
知識蒸餾是一種模型壓縮技術,透過讓小模型模仿大模型的輸出,使其在保有精準度的同時,大幅縮減模型體積
記住這句
老師教學生,小模型模仿大模型。
比喻:知識蒸餾就像是資深老師教導實習老師 -- 資深老師(大模型)把自己的經驗和「直覺」傳授給實習老師(小模型),讓實習老師也能學會如何做出好的判斷,即使它本身經驗不多。
容易混淆
模型剪枝
剪枝是把現有模型的一部分拿掉,蒸餾是重新訓練一個更小的學生模型。
量化
量化是在改數值精度,蒸餾是在改模型的學習來源。
實際案例
手機語音辨識
把雲端大模型的輸出分佈轉給小模型學,手機端就能更快回應。
邊緣攝影機
監視器只能跑小模型時,蒸餾能讓它保留接近大模型的判斷能力。
演算法與應用
蒸餾常用 soft label、temperature 和 teacher-student 架構。學生模型不一定要一模一樣地學老師,而是學老師對不同答案的相對偏好,這常比只學硬標籤更有效。
常見問題
剪枝是把現有模型的一部分拿掉,蒸餾是重新訓練一個更小的學生模型。
你可以把它想成讓小模型向大模型學習,不是學完全部知識,而是學到做事的方法。
量化是在改數值精度,蒸餾是在改模型的學習來源。
範例考題
某企業建置檢索增強生成(Retrieval-augmented generation, RAG)系統支援內部知識查詢。隨著使用量提升,團隊發現模型回覆品質穩定,但推論延遲與運算成本逐漸增加。專案規劃在維持回覆品質前提下進行效能優化。在此情境下,若採用知識蒸餾(Knowledge Distillation),下列敘述何者最為合理?
- A將檢索資料轉換為結構化規則以取代模型
- B僅透過增加檢索文件數量改善效能
- C停用生成模型以避免延遲問題
- D使小型模型學習大型模型行為,以降低推論成本
正解是 D:使小型模型學習大型模型行為,以降低推論成本
解析:知識蒸餾是讓小型模型(學生模型)學習大型模型(教師模型)的行為與輸出,從而在維持品質的前提下降低推論延遲與運算成本。
出現在這些考古題
官方公告試題的逐題解析裡,這 2 題把知識蒸餾列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本