AITerms 登入
深度學習模型訓練模型部署

模型平行化(Model Parallelism)是什麼?

模型平行化是一種將大型模型分割到多個裝置上進行訓練或推論的技術,以克服單一裝置的記憶體限制。

完整定義

模型平行化是一種分散式訓練策略,它將大型神經網路模型分割成多個部分,並將這些部分分配到不同的計算裝置(例如GPU)上。這樣做可以克服單一裝置的記憶體限制,使得訓練或推論非常大的模型成為可能。模型平行化通常需要仔細的設計,以確保各個部分之間的有效通信和同步。

白話說明

你有沒有碰過模型太大,一張 GPU 根本裝不下?

你可以把模型平行化想成,把同一個模型拆到多個裝置一起算,讓超大模型也能訓練或推論。

它重要在於,當模型規模超過單卡能力時,這就是把任務分攤出去的關鍵手段。

記住這句

模型太大就切開,不要硬塞一張卡。

比喻:模型平行化就像把一本太厚的書分給好幾個人看 -- 每個人負責讀書的不同章節,這樣才能一起讀完一本單人讀不完的巨著。

容易混淆

模型平行化 vs 資料平行化

模型平行化:把模型切開,分散到多個裝置。

資料平行化:把資料切開,每個裝置跑同一份模型。

最關鍵的區別:前者分模型,後者分資料。

模型平行化 vs 分散式訓練

模型平行化:是其中一種分散方式。

分散式訓練:是更大的總稱,包含多種平行策略。

最關鍵的區別:前者是方法,後者是整體架構。

實際案例

超大語言模型訓練

某些層放在這張 GPU,另一些層放在另一張 GPU,前向和反向傳播時一起協作。

記憶體爆掉的推論

當單卡顯存不夠,模型切分後就能在多卡上完成一次推論。

演算法與應用

常見形式包括張量切分、流水線切分和層切分。

核心挑戰是通訊成本,切太細反而會被資料交換拖慢。

在大模型時代,模型平行化常和資料平行化一起使用。

情境判斷

Q1(情境題): 如果模型很大但資料不多,還需要模型平行化嗎?

可能需要。只要單卡裝不下或算不動,即使資料不多也可能要用。

Q2(情境題): 模型平行化一定比資料平行化難嗎?

多半是。因為模型拆分後的通訊和同步更複雜。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把模型平行化列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本