AITerms 登入
模型部署AI應用機器學習

AI負載平衡(Load Balancing for AI)是什麼?

AI負載平衡將AI任務分散到多個計算資源,確保資源有效利用,避免單點過載,提升整體系統效能和穩定性。

完整定義

AI負載平衡是一種將AI模型推論、訓練或其他計算密集型任務分散到多個伺服器或計算節點的技術。其目標是優化資源利用率、避免單點故障、提高系統吞吐量和降低延遲,確保AI應用程式的穩定性和效能。

白話說明

你有沒有看過 AI 服務一忙起來,某台 GPU 爆滿、其他台卻還很閒?

你可以把 AI 負載平衡想成,把任務分給不同伺服器或 GPU 去做。

它其實就是讓 AI 的訓練和推論不要都擠在同一台機器上。

這樣才能把資源吃滿,服務也比較不會卡住。

記住這句

把算力分平均,AI 服務才不會塞車。

比喻:AI負載平衡就像餐廳的「帶位經理」-- 當很多客人(AI任務)同時湧進時,經理會把他們平均分配到不同的桌子(AI伺服器或GPU),確保沒有某張桌子擠爆,讓所有客人都能快速獲得服務,餐廳也能順暢運作。

容易混淆

AI 負載平衡 vs 傳統負載平衡

傳統負載平衡多看請求數,AI 負載平衡還要看 GPU、模型大小和記憶體。

AI 場景的瓶頸不只在流量,還在算力。

AI 負載平衡 vs 自動擴縮

負載平衡是分配現有資源,自動擴縮是增減資源數量。

一個分工,一個加班。

最關鍵的區別: 一個在分配,一個在增減資源。

實際案例

即時聊天服務

高峰時把請求分到不同推論節點,使用者就不會因為單台機器滿載而卡住。

多 GPU 訓練

不同 worker 的資料量和模型分片不一樣時,負載平衡可以減少某一台拖慢整體速度。

演算法與應用

常見策略有輪詢、加權輪詢、最少連線和依延遲分配。

在 AI 場景裡,還會看 GPU 記憶體、模型大小、批次大小和推論延遲。

好的負載平衡不只省資源,也會直接影響使用者體感。

情境判斷

Q1(直覺題): 某台 GPU 已經快滿了,系統應該怎麼做?

把新請求導到其他還有餘裕的節點,這正是負載平衡的工作。

Q2(判斷題): 只要平均分配請求,就是最好的 AI 負載平衡嗎?

不一定,因為不同模型和請求的成本不同,常常要加權處理。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 2 題把AI負載平衡列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本