AITerms 登入
模型部署模型評估統計方法

A/B測試(A/B Testing)是什麼?

A/B測試是一種隨機實驗方法,用於比較兩個版本的變數(A 和 B),以確定哪個版本表現更好。常用於優化使用者體驗和提升轉換率。

同主題的術語模型評估最佳化

完整定義

A/B測試是一種受控的隨機實驗方法,用於比較兩個或多個版本的變數(例如:網頁標題、按鈕顏色、模型版本),以確定哪個版本在預先定義的指標上表現更好。它能夠幫助數據科學家和產品經理做出基於數據的決策,常見應用包括優化網站設計、提升廣告點擊率、改善模型效能。

白話說明

你有沒有注意過,同一個 App 你跟朋友看到的介面長得不一樣?

這不是 bug。很多產品會同時準備兩個版本,隨機分給不同用戶,然後比較哪一版讓更多人點擊、購買、或完成註冊。這就是 A/B 測試:把用戶分成兩組,一組看原本的版本(A),一組看改過的版本(B),用數據決定哪個更好,而不是靠直覺猜。

為什麼不直接改?因為你覺得「比較好」的設計,用戶不一定買單。把按鈕從藍色改成綠色,轉換率可能提升 3% 也可能下降 5%,不測就不知道。

記住這句

兩個版本、隨機分組、用數據判定勝負,不猜。

比喻:A/B測試就像是醫生要決定哪種藥效果更好時,把病人隨機分成兩組,一組吃舊藥,一組吃新藥 -- 這樣就能客觀比較兩種藥的療效,知道哪個方案真的比較有效。

容易混淆

A/B 測試 vs 多變量測試 vs 金絲雀部署

A/B 測試:同一時間只改一個變數,比較兩個版本的效果差異。

多變量測試:同時改多個變數的多種組合,找出最佳搭配。

金絲雀部署:先讓少數用戶用新版本,確認沒問題才全面推出,重點是降低風險而非比較效果。

最關鍵的區別:A/B 測試的目的是「比較哪個更好」,金絲雀部署的目的是「確認新版不會出事」。

實際案例

Netflix 縮圖測試

Netflix 每部影片都有多張候選縮圖,不是由設計師選「最好看的那張」,而是把不同縮圖隨機展示給不同用戶,追蹤哪張讓最多人點進去看。有些影片光是換一張縮圖,點擊率就差了 20% 以上。

電商結帳流程

一家電商發現購物車放棄率很高,團隊猜測是結帳步驟太多,於是設計了一頁式結帳(B 版)跟原本的三步驟結帳(A 版)做測試。結果出乎意料:三步驟版的轉換率反而更高,因為用戶在一頁式版本中看到太多欄位感到壓迫。

深入了解

步驟
定義目標
做什麼
決定你要優化什麼指標(點擊率、轉換率、留存率)
關鍵考量
一次只測一個主要指標,避免分心
步驟
設計變體
做什麼
製作 B 版本,只改你要測試的那一個變數
關鍵考量
改太多東西就不知道是哪個變數造成差異
步驟
隨機分組
做什麼
把用戶隨機分成 A 組和 B 組
關鍵考量
隨機很重要,不能讓某類用戶集中在同一組
步驟
收集數據
做什麼
讓測試跑夠久,累積足夠樣本量
關鍵考量
太早看結果容易被隨機波動誤導
步驟
統計檢定
做什麼
用 t 檢定或卡方檢定判斷差異是否顯著
關鍵考量
p 值 < 0.05 才能說結果不是巧合
步驟
做決策
做什麼
根據結果選擇勝出版本,全面上線
關鍵考量
效果不顯著就維持原版,不要硬選

情境判斷

Q1(直覺題): 你想知道把「立即購買」按鈕從藍色改成紅色會不會提升銷售。你應該直接改成紅色上線,還是做 A/B 測試?

A/B 測試。顏色偏好因受眾而異,直接改可能降低銷售卻不自知。測試能用數據告訴你真正的答案。

Q2(判斷題): 你的 A/B 測試跑了三天,B 版轉換率比 A 版高 15%,但 p 值是 0.12。你應該宣布 B 版勝出嗎?

不應該。p 值 0.12 表示有 12% 的機率這個差距只是巧合,沒有達到通常要求的 5% 門檻。你應該繼續跑測試直到樣本量夠大,或者接受結果不顯著維持 A 版。但如果商業壓力大、改動風險低,有些團隊會選擇在較寬鬆的門檻下採用 B 版,這是業務判斷而非統計判斷。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 3 題把A/B測試列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本