iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃・115 年第一次・L12・第 28 題

Token Economics 不包含什麼?

原題

某市政府交通局計劃導入生成式 AI 技術來自動生成公車到站時間預測的文字報告,每日需處理約 50 萬筆交通資料並生成 1000 份報告。在評估導入成本時,團隊希望進行 Token Economics 分析(指模型推理與生成過程中,Token 使用量及其費用)。下列何者不屬於 Token Economics 的考量範圍?

白話

題目已定義 Token Economics 的範圍:「模型推理與生成過程中,Token 使用量及其費用」。有四個成本項目,其中一個不在這個定義範圍內。

問你:哪一個項目不屬於 Token Economics 的考量範圍?

一句話總結

Token Economics 只管「模型跑起來用了多少 Token、花多少錢」,模型訓練階段的 GPU 記憶體成本不在這個範疇,它是訓練成本,不是推理使用成本。

情境

先感受問題:公車報告系統每天花多少 Token?

假設你在「台北市交通局」的數位化小組工作。主管要你估算這套 AI 報告生成系統每月的 API 費用。

你開始整理:每份報告要輸入多少交通資料(輸入 Token),AI 要生成多少字的報告(輸出 Token),每天 1000 份乘以 30 天是多少 Token,乘上費率就是每月費用。

這個計算過程就是 Token Economics 分析,關注的是「模型在執行任務(推理和生成)時的 Token 消耗」。

有一個同事說:「我們當初訓練這個模型花了大量 GPU 算力,這個要不要算進去?」

你要判斷:訓練成本算不算在 Token Economics 範圍內?

舊方法

訓練成本和推理成本,是兩件不同的事

很多人會把 AI 的所有費用混在一起,但實際上有清楚的分工:

  1. 訓練階段成本:一次性費用(或定期重訓),包含 GPU 算力費、訓練資料標注費、工程師時間。這是「建造 AI 的成本」,只有在建模型時才發生
  2. 推理階段成本(Token Economics 的範圍):每次使用 AI 時產生的費用。用 API 時以 Token 計費;自架模型時以 GPU 運算時間計費。這是「使用 AI 的成本」,每次呼叫都發生
  3. 維護成本:監控、更新提示詞、處理異常等人力成本
  4. 基礎設施成本:伺服器、網路、儲存等固定成本
  5. 合規成本:資安審計、個資保護、法遵認證等

Token Economics 只聚焦在「推理和生成過程中的 Token 使用與費用」,也就是項目 2,不包含訓練成本(項目 1)。

新方法

怎麼分辨什麼在 Token Economics 範圍內

一個簡單的判斷方法:「這個成本是在模型推理/生成時發生的嗎?」

輸入 Token 數量:是的,每次 API 呼叫時把交通資料送進模型,這是推理階段的輸入 Token,在範圍內。

輸出 Token 費用:是的,模型生成報告文字需要輸出 Token,按字數計費,在範圍內。

推理過程的 Token 使用量統計:是的,這就是推理的直接指標,在範圍內。

訓練階段的 GPU 記憶體成本:不是。訓練是在「建模型」,不是在「用模型」。GPU 記憶體是訓練時的硬體資源,跟推理時用了多少 Token 完全無關。而且「台北市交通局」用的是現成的語言模型 API,根本不需要自己訓練,更談不上訓練 GPU 成本。

這就是選項 C 為什麼不屬於 Token Economics 的考量範圍:AI 模型訓練階段使用 Token 數量所需的 GPU 記憶體成本,是訓練成本,不是推理使用成本。

錯選項

為什麼其他選項是錯的

A每次 API 呼叫所需的輸入 Token 數量

字面在說什麼

每次把交通資料送進模型時,這些文字佔了多少 Token。

為什麼不對

這完全屬於 Token Economics 的核心範圍。輸入 Token 是每次 API 呼叫時的直接費用來源,Token Economics 的第一步就是估算每次呼叫的輸入 Token 量。A 是屬於範圍內的,不能選。

誰會選錯

沒注意題目問「不屬於」的人。

B生成報告內容所消耗的輸出 Token 費用

字面在說什麼

AI 生成的報告文字有多少字,每個字算多少 Token,這些 Token 的費用是多少。

為什麼不對

輸出 Token 通常比輸入 Token 貴,是 Token Economics 分析的重要項目。「生成報告」就是 LLM 的生成動作,這個動作的費用完全在 Token Economics 範圍內。B 是屬於範圍內的,不能選。

誰會選錯

看到「費用」兩個字,覺得這是成本概念,跟 Token Economics 不一樣,其實 Token Economics 就是在算費用。

D模型推理過程中的 Token 使用量統計

字面在說什麼

追蹤和統計模型在推理時消耗了多少 Token。

為什麼不對

題目定義 Token Economics 就是「模型推理與生成過程中,Token 使用量及其費用」,D 選項幾乎是在複述這個定義。使用量統計是 Token Economics 最基本的工作,完全在範圍內,不能選。

誰會選錯

沒有認真讀題目對 Token Economics 的定義,以為「使用量統計」是工程監控問題而不是成本問題的人。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃 第 28 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。