完整定義
推論最佳化是指在模型部署階段,透過各種技術手段,提升已訓練完成的機器學習或深度學習模型在進行預測(推論)時的效率。其目標是降低延遲、減少計算資源消耗,並提高吞吐量,從而使模型能夠更快速、更經濟地服務於實際應用。
白話說明
模型已經能回答了,為什麼還要再做推論最佳化?
你可以把它想成同一台車,路線不變,但換更省油的引擎、較少塞車的路徑和更快的換檔方式。
推論最佳化旨在提升已訓練模型的推論速度、降低資源消耗,使其更有效率地部署於實際應用中。
記住這句
不改答案方向,只把算答案的方法變快。
比喻:推論最佳化就像把一台跑車從原廠調校,讓它跑得更快、更省油 -- 模型本來就能跑,但最佳化後它能用更少資源、更快地提供結果。
容易混淆
模型訓練
訓練是在學會任務,推論最佳化是在不改變任務目標下,把執行變快、變便宜。
模型壓縮
模型壓縮是手段之一,推論最佳化的範圍更大,還包含快取、批次處理、硬體選型和執行圖最佳化。
實際案例
手機上的語音助理
語音模型如果每次回覆都要等很久,使用者就不會想用,量化和剪枝可以把延遲壓下來。
推薦系統服務費
一個每天服務數百萬次請求的推薦 API,只要每次推論少用一點 GPU 時間,整體成本就會差很多。
演算法與應用
常見做法包含量化、剪枝、蒸餾、批次推論、算子融合和記憶體快取。選哪一種要看你是在意速度、成本、功耗,還是精度損失。很多團隊不是單靠一招,而是把幾種方法疊在一起。
常見問題
訓練是在學會任務,推論最佳化是在不改變任務目標下,把執行變快、變便宜。
你可以把它想成同一台車,路線不變,但換更省油的引擎、較少塞車的路徑和更快的換檔方式。
模型壓縮是手段之一,推論最佳化的範圍更大,還包含快取、批次處理、硬體選型和執行圖最佳化。
出現在這些考古題
官方公告試題的逐題解析裡,有 6 題把推論最佳化列為延伸術語,這裡列出 5 題。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本