iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論・115 年第一次・L11・第 23 題

批次推論和即時推論有什麼不同?

原題

在 AI 推論服務架構設計中,「批次推論(Batch Inference)」與「即時推論(Real-time Inference)」常依任務特性選擇不同機制。下列關於兩者特性的敘述何者最正確?

白話

AI 推論服務依任務特性,常選擇「批次推論(Batch Inference)」或「即時推論(Real-time Inference)」這兩種不同的機制。

問你:下列對這兩種推論機制特性的描述,哪一項最正確?

一句話總結

批次推論一次處理大量資料,以吞吐量為優先;即時推論每筆立刻回應,以低延遲為優先。

情境

先感受問題:同一個模型,什麼時候跑有差嗎?

假設「優鮮電商」有一個商品推薦模型,用來預測「這個使用者最可能買哪些商品」。

模型有兩個使用場景:

場景一:每天凌晨兩點,系統把今天所有 50 萬個使用者的行為資料餵進模型,預測每個人明天的推薦清單,結果存進資料庫。白天使用者打開 App 時,直接從資料庫讀取昨晚算好的推薦。

場景二:使用者在搜尋框打字,每按下一個字,系統就要在 100 毫秒內給出推薦建議。如果等超過一秒,使用者就會覺得 App 卡、不好用。

場景一是批次推論:時間充裕,一次算很多,重視「能不能快速處理完所有人」。場景二是即時推論:時間緊,每一筆都要快,重視「每一次請求都要在很短的時間內回應」。

舊方法

如果只用一種方式跑所有推論

「優鮮電商」在早期只用一套推論方式,結果踩了五個坑:

  1. 用批次跑即時場景:搜尋推薦等到所有請求湊滿一批才算,使用者要等好幾秒,抱怨連連
  2. 用即時跑批次場景:凌晨對 50 萬用戶一筆一筆算,CPU 一整晚高速運轉,電費暴增,還算不完
  3. 資源分配混亂:不分場景都用同一台伺服器,高峰期即時推論搶到資源,批次推論延誤;離峰期批次推論佔滿機器,即時推論延遲暴增
  4. 成本失控:即時推論需要常駐的高性能 GPU;批次推論其實可以用便宜的夜間離峰算力,混在一起就浪費錢
  5. SLA 說不清楚:業務要求「推薦要快」,但沒有區分是批次還是即時,工程師不知道該優化哪個指標

新方法

批次和即時分開設計,各取所長

「優鮮電商」把推論服務拆成兩條路:

批次推論路徑:凌晨排程,把 50 萬用戶的資料打包成大批次,一次送進模型,系統的目標是在天亮前把所有結果算完。這裡最重要的指標是吞吐量(Throughput):單位時間內能處理多少筆資料。每一筆的延遲是幾秒還是幾十秒,不重要,因為反正使用者現在沒在看。

即時推論路徑:搜尋框每次輸入都觸發一次推論。這裡最重要的指標是延遲(Latency):從請求送出到結果回來的時間,要穩定維持在 100 毫秒以內,不能忽高忽低。

這就是選項 B 描述的:批次推論多用於延遲容忍度較高的大規模資料處理,以吞吐量最佳化為優先;即時推論著重於請求回應時間的穩定性與低延遲特性。

錯選項

為什麼其他選項是錯的

A批次推論通常以同步請求方式回傳結果;即時推論則多採非同步機制

字面在說什麼

批次用同步(等結果),即時用非同步(不等結果)。

為什麼不對

這把同步/非同步的概念套反了。批次推論通常是非同步的:提交一批任務後,不需要一直等著,等全部算完再取結果。即時推論反而更常是同步的:使用者發出請求,要等到結果回來才能繼續(因為要立刻顯示給使用者看)。

誰會選錯

對同步/非同步的直覺是「批次要等很多人,所以同步等著」的人。同步/非同步描述的是「發出請求後要不要等」,跟批次大小無關。

C批次推論因計算資源需求高,僅適用於影像類模型;即時推論主要應用於結構化資料模型

字面在說什麼

批次推論只能用於影像,即時推論只能用於結構化資料。

為什麼不對

批次推論和即時推論是架構模式,和資料類型無關。推薦系統(結構化資料)可以用批次推論;影像辨識(影像資料)也可以做即時推論(例如手機即時拍照辨識)。這個選項完全是捏造的限制。

誰會選錯

以為「影像資料量大所以一定要批次」的人。資料量大可以是批次的理由之一,但不是唯一理由,更不是只有影像才能批次。

D即時推論通常限制為單筆資料輸入;批次推論則可支援同步多筆資料即時回傳

字面在說什麼

即時推論只能一次處理一筆,批次推論可以同步多筆立刻給結果。

為什麼不對

即時推論也可以一次處理多筆,只要每筆都快速回應即可(例如 LLM 服務的 mini-batch)。批次推論更不是「同步即時回傳」,它的設計本意就是讓結果晚一點回傳,換取更高效率的批量處理。選項 D 把兩者的特性完全說反了。

誰會選錯

望文生義,覺得「批次」就是「一次多筆結果立刻回傳」的人。批次的重點在「湊夠一批再一起算」,而不是「立刻回傳多筆」。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論 第 23 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。