---
title: "基準測試（Benchmark）"
slug: benchmark
language: zh-TW
source: https://aiterms.tw/terms/benchmark
updated_at: 2026-07-29
tags: [機器學習, 模型評估, AI基礎, 模型訓練, 資料處理]
ipas_term: false
---

# 基準測試（Benchmark）

> **兩個模型都說自己很強，該用什麼同一套標準來比？**
> 你可以把基準測試想成統一考卷，用同一份題目、同一套規則比較表現。
> 它讓不同模型、方法或系統的結果可以更公平地放在一起看。
>
> 你可以把它想成一個把抽象概念拉回日常判斷的提示，先知道它解決什麼問題，再看技術細節。

### 容易混淆

> **基準測試 vs 指標？**
> 基準測試：標準化的比較方法
> 指標：用來量化結果的數字
> 最關鍵的區別：Benchmark 是整套測法，Metric 是其中一個量化值
>
> **基準測試 vs 實際應用表現？**
> 基準測試：看標準化表現
> 實際應用表現：看真實環境中的結果
> 最關鍵的區別：考卷高分不代表實戰一定高分
>
> **基準測試 vs 排行榜？**
> 基準測試：方便模型間比較
> 排行榜：把測試結果整理成排名
> 最關鍵的區別：排行榜只是 Benchmark 結果的呈現方式
### 記住這句就好

> 同一張考卷比高低，不等於真實世界全都能贏
### 實際案例

> **語言模型排行**
> 研究團隊會在同一套資料集上比較不同模型的答案品質與速度
>
> **硬體評測**
> 不同晶片在同一套推論任務上跑分，讓效能差異一目了然
### 深入了解

> | 重點 | 你要看什麼 | 為什麼重要 |
> |---|---|---|
> | 資料集 | 要固定且公開 | 避免每次測法不同 |
> | 規則 | 要明確 | 不然比較結果沒有意義 |
> | 限制 | 可能被過度最佳化 | 高分不代表真實最好 |
### 常見問題

> **Q：Benchmark 結果一定可信嗎？**
> 不一定，要看資料是否偏、任務是否過時、以及是否被過度調參。
>
> **Q：基準測試越多越好嗎？**
> 不一定，重點是要跟真實需求貼近。
>
> **Q：新模型為什麼常在 benchmark 上很高分，落地卻普通？**
> 因為 benchmark 與真實環境的分佈常常不同。

### AI 的 benchmark 分成三種，不要混談

| 類型 | 量什麼 | 常見例子 |
| --- | --- | --- |
| 能力基準 | 模型答得對不對 | MMLU、GSM8K、HumanEval、SWE-bench |
| 效能基準 | 跑得多快、多省 | MLPerf、每秒 token 數、首字延遲 |
| 硬體基準 | 晶片本身的算力 | TFLOPS、記憶體頻寬 |

> 一般口語問「這個模型的 benchmark 多少」，通常指第一種。但廠商公布的數字常常混著講，看到分數先確認它量的是哪一件事。

### 看 benchmark 分數要問的四個問題

> **第一，題目有沒有洩漏到訓練資料裡。** 這是現在最大的問題。公開的測驗題在網路上到處都是，模型很可能在預訓練時就讀過。分數高不代表會推理，可能只是背過。這叫資料污染（data contamination），是近年許多亮眼分數被質疑的原因。
>
> **第二，用什麼提示方式測的。** 同一個模型，零樣本（zero-shot）、少樣本（few-shot）、加上思維鏈（chain-of-thought）的分數可以差很多。兩份報告的提示設定不同就沒有可比性。
>
> **第三，允許試幾次。** 程式類基準常見 pass@1 與 pass@10，後者是「生成十個答案有一個對就算過」。兩個數字差很大，混用會嚴重誤導。
>
> **第四，這個基準跟你的任務像不像。** 數學競賽題考得好，不代表能整理你的客服對話。基準測的是它自己那個分布，不是你的工作。
>
> 實務建議：對外的 benchmark 只當初步篩選，真正的決策要用你自己的資料做一份小型評測集，那才是對你有意義的分數。

### 情境判斷

> **Q1：如果兩個模型都在同一套測試集上比，這算 benchmark 嗎？**
> → 算，前提是測法、資料與規則都有標準化
>
> **Q2：如果一個模型只在自家資料上測得很好，能直接說它比別人強嗎？**
> → 不能，因為缺乏統一基準會讓比較失真
### 相關術語

> - **測試資料集**：基準測試通常離不開測試集
> - **訓練集**：訓練集和測試集必須分開
> - **準確率**：很多 benchmark 會用它做其中一個指標

---

來源：https://aiterms.tw/terms/benchmark
快查頁：https://aiterms.tw/terms/benchmark
最後更新：2026/07/29
深度解說：https://aiterms.tw/learning/what-is-benchmark