iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃・115 年第一次・L12・第 9 題

Few-shot Prompting 為什麼在新市場分類失準?

原題

某企業使用生成式 AI 進行文字分類,初期僅根據既有業務資料設計少量樣本提示(Few-shot Prompting)。當模型應用至新市場資料時,團隊發現分類結果明顯不穩定,且原先提供的範例並未涵蓋新市場常見的表達方式。依此情境判斷,下列何者最可能為主要原因?

白話

某企業用 Few-shot Prompting 做文字分類,在原本的市場效果不錯,換到新市場之後分類結果明顯不穩定。原先設計的範例沒有涵蓋新市場常見的表達方式。

問你:依這個情境,最可能的主要原因是什麼?

一句話總結

Few-shot Prompting 靠少量範例引導模型,當範例涵蓋不了新情境的表達差異,模型就沒有足夠的參照基準做出穩定分類,這是「少量範例 vs. 情境多樣性」的根本矛盾。

情境

先感受問題:台灣學的規則,到東南亞為什麼失效?

假設你在「全球零售集團」負責 AI 分類系統。公司在台灣用 AI 把客戶意見自動分類成「正面」「負面」「中性」,效果很好。

Few-shot Prompting 的做法是:在 Prompt 裡給幾個範例,告訴模型「這個算正面、那個算負面」。台灣的範例是:

  • 「品質很好,下次還買」→ 正面
  • 「等了一個月還沒收到」→ 負面
  • 「還行,沒什麼特別」→ 中性

系統開始在泰國市場運作。泰國客戶的表達習慣很不一樣:

  • 「สินค้าดีมากเลยค่ะ 555」(商品很好 + 泰式笑聲符號)→ 正面,但 AI 看到 555 不確定
  • 「พอใช้ได้ครับ」(還可以接受)→ 其實是委婉的負面,但 AI 分類成正面
  • 「ไม่ค่อยโอเค」(不太 OK)→ 負面,但 AI 不知道這個表達方式

台灣的範例根本沒有涵蓋泰國式的表達方式,AI 面對這些情況只能猜,結果就不穩定了。

舊方法

用舊範例闖新市場,會遇到什麼問題?

「全球零售集團」依賴台灣範例的 Few-shot Prompting 擴展到東南亞市場,遇到了幾個系統性問題:

  1. 語言表達差異:泰語、印尼語的語氣標記、委婉說法和台灣中文完全不同,舊範例沒有覆蓋
  2. 文化語境不同:泰國人不喜歡直接說負面,習慣用委婉語表達,但範例全是直白的台灣中文
  3. 俚語和網路用語:每個市場的網路俚語快速演化,舊範例根本跟不上
  4. 範例數量就是有限:Few-shot 本來就只有幾個範例,語意空間有限,到新市場就「出邊界」了
  5. 沒有上下文適應機制:模型只靠給定的範例推論,沒有辦法自動適應新情境,範例沒見過的就猜

每個問題都指向同一個核心:範例太少、覆蓋不了新情境的多樣性。

新方法

Few-shot 的邊界在於範例能不能覆蓋情境差異

「全球零售集團」的 AI 工程師找到問題本質:不是模型能力差,也不是 Prompt 寫不好,而是提供的範例無法涵蓋新市場的資料分布。

類比:想像你在教一個外國朋友讀懂台灣的綜藝節目字幕,你只給了三個例子,然後要他獨自看新節目。他看完三個例子後,遇到的都是熟悉格式的字幕還好;但一碰到他從沒見過的台語俚語,他就只能猜了。

解決方向是:為新市場補充當地的 Few-shot 範例,或者在針對新市場的資料上做 Fine-tuning,讓模型真正學到當地的表達習慣,而不只是靠幾個台灣例子猜。

這就是選項 B 講的:少量範例難以涵蓋新情境的資料差異,這是 Few-shot Prompting 在新市場失效的根本原因。

錯選項

為什麼其他選項是錯的

A模型容易對單一範例產生過度記憶

字面在說什麼

模型看到幾個範例就「死背」那幾個,無法類化到其他輸入。

為什麼不對

「過度記憶單一範例」是訓練模型時(Fine-tuning)才容易發生的過擬合問題。Few-shot Prompting 不更新模型參數,模型不會「記憶」範例,而是用它們來推論規則。問題不在「記太牢」,而在「範例不夠覆蓋新情境」,兩個方向不同。

誰會選錯

把 Few-shot Prompting 和 Fine-tuning 混在一起、以為 Prompting 也會造成過擬合的人。Prompting 不改模型,所以不存在「過度記憶」的問題。

CPrompt 設計無法引導模型擷取共通特徵

字面在說什麼

Prompt 寫得不夠好,模型沒辦法從範例中找出共通規律。

為什麼不對

題目說在舊市場效果不錯,代表 Prompt 設計本身沒有問題,同樣的 Prompt 在舊市場能用,只是到新市場就失效了。問題的根源是「資料情境改變了」,而不是「Prompt 寫不好」。Prompt 設計問題是一個可以修改的技術問題,但本題的根本是資料分布的差異。

誰會選錯

習慣把 AI 失效歸咎於「Prompt 設計不好」的人。這是常見的第一反應,但本題已經明確排除了這個可能性(舊市場有效)。

D模型推理能力不足以完成分類任務

字面在說什麼

模型本身的能力就不夠,沒辦法做這種分類任務。

為什麼不對

題目說在舊市場分類效果是好的,代表模型有能力完成這個任務。同一個模型到了新市場就失效,問題不在模型能力(能力沒有變),而在輸入資料的分布改變了。「模型能力不足」這個說法也解釋不了「為什麼只在新市場失效」。

誰會選錯

看到「分類不準」就直覺認為是「模型不夠好」的人。模型沒有變,變的是輸入資料的情境分布。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃 第 9 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。