iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃・115 年第一次・L12・第 48 題

推薦模型上線後越來越不準,最可能是什麼原因?

原題

某企業將機器學習模型部署於線上推薦系統。模型在測試階段表現良好,但上線數月後,點擊率與預測準確度逐漸下降。經分析發現,近期使用者行為模式與模型訓練期間的資料特徵出現顯著變化。此現象最可能屬於下列何者?

白話

某企業將機器學習模型部署於線上推薦系統,測試階段表現良好,但上線數月後點擊率與預測準確度逐漸下降。分析發現,近期使用者行為模式與模型訓練期間的資料特徵出現顯著變化。

問你:這個現象最可能屬於下列哪一種情形?

一句話總結

模型測試好但上線後隨時間衰退,且分析出使用者行為與訓練資料有顯著差異,這是資料漂移(Data Drift):資料統計特徵隨時間改變,讓模型的推論越來越不準。

情境

先感受問題:去年學的食譜,今年大家都不想吃了

「好物嚴選」是一個電商平台,資料科學家林思潔在 2024 年用歷史購物資料訓練了一套商品推薦模型,測試表現很好,上線後頭兩個月也確實提升了點擊率。

但到了 2025 年初,林思潔發現推薦的點擊率開始下降,準確率也逐漸滑落。她調出資料分析,發現問題所在:2024 年訓練時,使用者最喜歡點的品類是「運動健身器材」;但進入 2025 年,平台的使用者開始大量點擊「家居佈置」和「廚房用品」,興趣偏好整體轉移了。

模型還是 2024 年的模型,它學的是「使用者喜歡運動健身」,但現在的使用者喜歡的東西不一樣了。模型的世界觀還停留在過去,現實已經改變了。

這就是資料漂移(Data Drift):真實世界的資料統計特徵隨時間改變,讓模型的預測越來越偏離實際。

舊方法

沒有模型監控機制,資料漂移會被忽略很久

在林思潔建立定期監控機制之前,「好物嚴選」的模型管理方式有這些問題:

  1. 只看整體指標:追蹤整體點擊率,但沒有按品類、按時間段分解,漂移被整體數字稀釋,看不出來
  2. 沒有特徵分布監控:沒有定期比較「當前使用者行為分布」和「訓練時的行為分布」,不知道資料已經漂移
  3. 模型上線就不管了:模型被視為一次性資產,上線後沒有維護計畫,沒有觸發再訓練的機制
  4. 把效能下降歸因錯誤:點擊率下降被解釋為「產品上架組合問題」或「競爭對手影響」,實際上是模型過時了
  5. 沒有基準比較:沒有在上線時記錄訓練資料的特徵統計值,事後想比較也沒有基準

資料漂移是「慢性病」,不是急性故障,沒有監控就會被慢慢忽略,直到損失已經很大才被發現。

新方法

識別資料漂移並建立應對機制

林思潔確認問題是資料漂移後,建立了應對方案。

定期監控特徵分布:每週自動計算當前使用者行為的品類偏好分布,與訓練時的基準分布做比對。當偏差超過閾值,自動發出警報。

滾動更新訓練資料:每個月用最近三個月的新資料重新訓練模型,讓模型持續學習最新的使用者行為模式,避免「模型的世界觀停留在過去」。

A/B 測試監控衰退速度:維持一小部分流量跑舊模型,持續監控新舊模型的表現差異,量化漂移的影響速度,調整再訓練頻率。

這就是選項 C 講的:資料統計特徵隨時間改變,影響模型推論效果,是本題描述的「測試好但上線後隨時間衰退、且行為模式改變」現象的標準術語,也就是資料漂移(Data Drift)。

錯選項

為什麼其他選項是錯的

A模型過度擬合訓練資料,無法泛化至未知樣本

字面在說什麼

模型太「記住」訓練資料的細節,遇到訓練資料以外的新情況就表現很差。

為什麼不對

過度擬合的問題在測試階段就會被發現,因為測試集也是「模型沒見過的資料」。題目說「測試階段表現良好」,說明模型對新樣本的泛化是沒問題的,排除過度擬合。過度擬合的症狀是「訓練準確率高、測試準確率低」,不是「測試好、上線後隨時間變差」。

誰會選錯

知道「過度擬合導致模型表現變差」但沒有注意時間順序的人。過度擬合是訓練→測試就有的問題,不是上線後才出現的問題。

B特徵工程設計不佳,導致輸入資訊不足

字面在說什麼

在設計模型時,選用的特徵(輸入變數)不夠好或不夠多,導致模型學不到足夠的規律。

為什麼不對

特徵設計的問題在測試階段就應該被發現。如果測試時表現良好,說明特徵設計在訓練時間段是足夠的。特徵設計問題是「一開始就有的先天不足」,不是「上線後才逐漸浮現的後天問題」。

誰會選錯

遇到模型表現不佳就直覺認為「是特徵工程的問題」的人。這是常見但不精準的歸因,需要根據「問題是什麼時候出現的」來區分。

D系統資料結構調整,造成特徵欄位錯置

字面在說什麼

後端資料庫或資料管線被修改,導致某些特徵欄位的數值對應到了錯誤的變數,模型讀到錯誤的輸入。

為什麼不對

欄位錯置是技術問題,通常會造成模型效能「突然崩潰」而不是「逐漸下降」,而且一般可以通過資料管線的監控快速發現。題目強調的是「逐漸下降」和「使用者行為模式改變」,這是漸進式的現象,不符合技術錯誤的特徵。

誰會選錯

認為模型下降「一定是技術問題」的人。技術問題是一種可能性,但題目給出了「使用者行為改變」這個分析結果,直接指向資料漂移。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃 第 48 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。