AITerms 登入
機器學習深度學習模型訓練

資料並行(Data Parallelism)是什麼?

資料並行是一種分散式訓練方法,將資料分割成多份,分配給多個節點,每個節點使用相同模型副本訓練不同資料子集。

完整定義

資料並行是一種常見的分散式訓練策略,其核心思想是將訓練資料分割成多個子集,每個計算節點(例如GPU)都擁有一份完整的模型副本,但使用不同的資料子集進行訓練。每個節點獨立計算梯度,然後將梯度同步到一個中心節點或使用All-Reduce等方法進行聚合,最後更新模型參數。

白話說明

你有沒有在多台機器上一起訓練大模型時,還在想這件事到底該怎麼看?

把它想成把同一份作業分給很多人同時寫。

它是分散式訓練最常見的方法之一,因為每台機器都跑完整模型。

只要同步好梯度,就能把資料切開、把訓練速度拉快。

記住這句

資料切開,模型每台都一樣。

比喻:資料並行就像一群學生分工寫同一份考卷 -- 老師把考卷影印多份,每個學生寫不同部分的題目,最後再把所有答案彙整起來,這樣可以更快地完成考卷。

容易混淆

model-parallelism

vs 模型並行 (Model Parallelism):資料並行是把資料切開,每個機器跑完整模型;模型並行是把模型切開,每個機器跑模型一部分,兩者都是為了加速訓練,但分工方式不同。

常見混淆:資料並行 vs model-parallelism

資料並行是切資料,模型並行是切模型。

實際案例

GPU 叢集

每張 GPU 處理不同 mini-batch,最後同步更新參數。

大語言模型預訓練

資料量超大時,把樣本分散到多個節點一起算。

演算法與應用

1. 優點是好理解、容易擴展,也比較適合大多數訓練框架。

2. 真正的瓶頸通常是梯度同步和網路傳輸。

3. 當模型太大時,資料並行可能不夠,這時要考慮模型並行。

情境判斷

Q1:多台機器一起訓練同一個模型,最典型的分工方式是什麼?

把資料切開,每台機器跑完整模型,這就是資料並行。

Q2:如果同步梯度很慢,先懷疑什麼?

先懷疑網路瓶頸或節點數太多。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把資料並行列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本