AITerms 登入
深度學習模型訓練最佳化

混合精度訓練(Mixed Precision Training)是什麼?

混合精度訓練是一種使用不同精度(如 FP16 和 FP32)的浮點數進行模型訓練的技術,旨在加速訓練過程並減少記憶體佔用。

完整定義

混合精度訓練是一種深度學習訓練技術,它利用不同精度的浮點數格式(例如 FP16 和 FP32)來加速訓練過程並減少記憶體使用量。通常,模型的大部分計算使用 FP16 進行,而一些對精度要求較高的操作(例如梯度累加)則使用 FP32 進行,以保持模型的穩定性和準確性。

白話說明

你有沒有碰過 GPU 記憶體不夠,模型一放大就爆掉的情況?

你可以把混合精度訓練想成,訓練時一部分用高精度、一部分用低精度,藉此省記憶體又加快運算。

它重要在於,大模型訓練常常卡在速度和顯存,這招可以同時改善兩邊。

記住這句

訓練時先省一部分精度,換速度和顯存。

比喻:混合精度訓練就像在工地蓋房子 -- 只有關鍵的計算需要用最精確的尺(FP32),大部分計算用大概的尺(FP16)就夠了。這樣可以加快施工速度,也節省材料。

容易混淆

混合精度訓練 vs 全精度訓練

混合精度訓練:同時使用 FP16、BF16 或 FP32。

全精度訓練:大多數運算都維持在較高精度。

最關鍵的區別:前者更省資源,後者更穩但更吃記憶體。

混合精度訓練 vs 模型量化

混合精度訓練:多發生在訓練過程。

模型量化:多發生在部署或壓縮階段。

最關鍵的區別:前者是訓練策略,後者是模型轉換策略。

實際案例

訓練大型語言模型

同一張 GPU 能裝下更多參數和 batch,訓練速度也常比全精度更快。

影像模型微調

原本跑不動的大 batch,開混合精度後可以順利訓練,還能保住大部分準確率。

演算法與應用

常見做法是用低精度做矩陣乘法,用高精度保護累加和關鍵更新。

動態 loss scaling 常用來避免梯度下溢。

在現代 GPU 上,它幾乎是大模型訓練的標配技巧。

情境判斷

Q1(情境題): 如果開了混合精度後,模型突然不穩,該怎麼看?

先檢查 loss scaling、數值下溢和不支援的算子,有些層可能還是要保留較高精度。

Q2(情境題): 混合精度訓練一定會讓準確率掉很多嗎?

通常不會,正確設定下多半能維持接近的效果,同時節省資源。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把混合精度訓練列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本