完整定義
AI負載平衡是一種將AI模型推論、訓練或其他計算密集型任務分散到多個伺服器或計算節點的技術。其目標是優化資源利用率、避免單點故障、提高系統吞吐量和降低延遲,確保AI應用程式的穩定性和效能。
白話說明
你有沒有看過 AI 服務一忙起來,某台 GPU 爆滿、其他台卻還很閒?
你可以把 AI 負載平衡想成,把任務分給不同伺服器或 GPU 去做。
它其實就是讓 AI 的訓練和推論不要都擠在同一台機器上。
這樣才能把資源吃滿,服務也比較不會卡住。
記住這句
把算力分平均,AI 服務才不會塞車。
比喻:AI負載平衡就像餐廳的「帶位經理」-- 當很多客人(AI任務)同時湧進時,經理會把他們平均分配到不同的桌子(AI伺服器或GPU),確保沒有某張桌子擠爆,讓所有客人都能快速獲得服務,餐廳也能順暢運作。
容易混淆
AI 負載平衡 vs 傳統負載平衡
傳統負載平衡多看請求數,AI 負載平衡還要看 GPU、模型大小和記憶體。
AI 場景的瓶頸不只在流量,還在算力。
AI 負載平衡 vs 自動擴縮
負載平衡是分配現有資源,自動擴縮是增減資源數量。
一個分工,一個加班。
最關鍵的區別: 一個在分配,一個在增減資源。
實際案例
即時聊天服務
高峰時把請求分到不同推論節點,使用者就不會因為單台機器滿載而卡住。
多 GPU 訓練
不同 worker 的資料量和模型分片不一樣時,負載平衡可以減少某一台拖慢整體速度。
演算法與應用
常見策略有輪詢、加權輪詢、最少連線和依延遲分配。
在 AI 場景裡,還會看 GPU 記憶體、模型大小、批次大小和推論延遲。
好的負載平衡不只省資源,也會直接影響使用者體感。
情境判斷
Q1(直覺題): 某台 GPU 已經快滿了,系統應該怎麼做?
把新請求導到其他還有餘裕的節點,這正是負載平衡的工作。
Q2(判斷題): 只要平均分配請求,就是最好的 AI 負載平衡嗎?
不一定,因為不同模型和請求的成本不同,常常要加權處理。
常見問題
常看延遲、吞吐量、GPU 利用率、記憶體和排隊時間。
都可能需要,只是訓練更常遇到長時間分工,推論更在意即時延遲。
有關,很多部署會先用容器把模型包好,再在上層做調度。
出現在這些考古題
官方公告試題的逐題解析裡,這 2 題把AI負載平衡列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本