AITerms 登入
機器學習模型部署模型評估

模型服務化(Model Serving)是什麼?

模型服務化是指將訓練好的機器學習模型部署到生產環境,使其能夠接收請求並返回預測結果的過程。

完整定義

模型服務化是指將訓練好的機器學習模型部署到生產環境,使其能夠接收請求並返回預測結果的過程。它用於將模型集成到應用程序或服務中,並使其能夠實時或近實時地提供預測。常見應用包括線上預測、批次預測和模型監控。

白話說明

你有沒有想過,模型上線後每一次呼叫,是怎麼把結果回給使用者的?

你可以把模型服務化想成,把訓練好的模型包成一個能接請求、回預測的服務。

它重要在於,模型只有開始穩定回應請求,才真的能支撐產品流程。

記住這句

把模型變成一個會回應請求的服務。

比喻:模型服務化就像餐廳把廚師做好的菜端上桌 -- 模型訓練好是菜煮好了,服務化就是把它送到顧客(使用者)面前,讓他們可以點餐(發送請求)並享用(獲得預測)。

容易混淆

模型服務化 vs 模型部署

模型服務化:讓模型能接收請求並回傳結果。

模型部署:把模型放到目標環境裡。

最關鍵的區別:前者是服務形態,後者是上線動作。

模型服務化 vs 模型即服務

模型服務化:描述從模型到可用服務的過程。

模型即服務:描述最後對外提供的服務形態。

最關鍵的區別:前者偏實作,後者偏產品形態。

實際案例

圖片分類 API

使用者上傳照片後,服務即時回傳標籤和信心分數,這就是典型的模型服務化。

風險評分服務

每次有人申請信用額度,後端就把資料送進服務,拿到分數後再決定下一步。

演算法與應用

它會關心請求格式、延遲、批次處理和高可用。

常見部署形式有 REST、gRPC、批次服務和邊緣服務。

好的服務化會同時顧到穩定性和吞吐量。

情境判斷

Q1(情境題): 如果模型只能離線批次跑,這還算模型服務化嗎?

算一種服務方式,但通常不叫即時服務化,因為它沒有對單次請求即時回應。

Q2(情境題): 如果回應很準,但延遲太高,還算可用嗎?

要看情境。很多產品場景裡,延遲高到不能接受就等於不可用。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 5 題把模型服務化列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本