完整定義
BM25 (Best Matching 25) 是一種在資訊檢索中廣泛使用的排序函數,屬於概率檢索模型。它基於詞頻(TF)和逆文檔頻率(IDF)的概念,並引入了文檔長度歸一化,以解決長文檔更容易被檢索到的問題。BM25旨在根據查詢和文檔之間的相關性對文檔進行排序,從而提高檢索的準確性。
白話說明
你在做搜尋排序,想把最相關的文件排前面時,你會怎麼判斷它真正的作用?
你可以把它想成 BM25 (Best Matching 25) 是一種用於資訊檢索的排序函數,它基於詞頻和逆文檔頻率,並考慮了文檔長度的影響,以提高檢索的準確性。
在 你在做搜尋排序,想把最相關的文件排前面時 這種情境裡,這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。
比喻
BM25 就像一個圖書館管理員在幫你找書 -- 他會看你關鍵字在書裡出現的頻率(越多越重要),也會看這個字在所有書裡是不是很少見(越少見越特別),而且他知道短書裡出現一次關鍵字比長書裡出現一次更重要,綜合這些因素來推薦最相關的書給你。
容易混淆
BM25 vs TF-IDF
BM25 在 TF-IDF 基礎上加了詞頻飽和和文件長度歸一化。
BM25 vs 向量檢索
BM25 看字詞匹配,向量檢索看語意相似,兩者強項不同。
BM25 vs 關鍵字堆疊
BM25 不只是數次數,還會看稀有度和文件長短。
實際案例
案例 1:站內搜尋
使用者輸入產品型號時,BM25 可以快速把含有關鍵字的頁面排前面。
案例 2:FAQ 找答案
問題和答案中的關鍵詞對上時,BM25 很適合做第一層召回。
演算法與應用
- 面向
- 核心
- 重點
- 詞頻越高不一定越重要,還要看詞稀不稀有、文件長不長。
- 面向
- 優點
- 重點
- 簡單、穩定、可解釋,對文字檢索很實用。
- 面向
- 注意
- 重點
- 遇到同義詞或語意改寫時,單靠 BM25 可能不夠。
BM25 的公式與三個關鍵設計
BM25 給「查詢詞」與「文件」算一個相關度分數,總分是查詢裡每個詞的分數加總:
score(D, Q) = Σ IDF(qᵢ) × ( f(qᵢ,D) × (k₁+1) ) / ( f(qᵢ,D) + k₁ × (1 − b + b × |D|/avgdl) )
看起來複雜,但它其實只是在處理三件事。
常見的預設值是 k₁ 介於 1.2 到 2.0、b 等於 0.75。
第二列是 BM25 勝過傳統 TF-IDF 的核心。TF-IDF 的詞頻是線性的,一個詞出現 100 次分數就是出現 1 次的 100 倍,這顯然不合理。BM25 讓詞頻的貢獻趨近一個上限,出現 5 次和 50 次的差別遠小於出現 0 次和 1 次的差別。
- 要處理的問題
- 常見詞不該加分
- BM25 的做法
- 越少文件出現的詞,權重越高
- 對應的部分
- IDF(qᵢ)
- 要處理的問題
- 出現 20 次不該是 10 次的兩倍
- BM25 的做法
- 詞頻的效果會飽和
- 對應的部分
- k₁ 控制飽和速度
- 要處理的問題
- 長文件容易誤中
- BM25 的做法
- 依文件長度與平均長度的比值折算
- 對應的部分
- b 控制正規化強度
為什麼在向量檢索時代還要用 BM25
現在的 RAG 系統幾乎都採用混合檢索,也就是 BM25 加上向量檢索一起用,原因是兩者的失敗模式剛好互補。
BM25 擅長精確比對。 產品型號、錯誤代碼、人名、專有名詞、罕見縮寫,這些東西向量模型常常抓不準,因為它們在訓練資料裡出現得少,嵌入品質差。使用者搜「E-1042 錯誤」時,BM25 一定找得到,向量檢索可能找回一堆「錯誤處理」的通用文件。
向量檢索擅長換句話說。 使用者問「怎麼把錢拿回來」,文件寫的是「退款流程」,字面完全不重疊,BM25 找不到,向量檢索找得到。
合併兩邊結果的常見做法是倒數排名融合(Reciprocal Rank Fusion, RRF),它只看名次不看分數,所以不需要處理兩套分數尺度不同的問題,實作簡單而且效果穩定。
另外一個現實理由:BM25 不需要 GPU、不需要訓練、可以即時更新索引,成本比向量檢索低一個量級。
情境判斷
Q1(判斷題): 一篇很長的文件重複很多次關鍵字,BM25 會一直把它排第一嗎?
不會完全照次數線性加分,因為詞頻會飽和,文件長度也會被校正。
Q2(判斷題): 如果使用者查的是同義詞,BM25 還一定有用嗎?
有用但不夠,這時常會再搭配語意檢索。
常見問題
BM25 多了詞頻飽和和文件長度修正,搜尋排序通常更穩。
單獨用不夠,因為它主要是詞字面匹配。
k1 控制詞頻飽和,b 控制文件長度影響。
小規模實驗常用 rank_bm25 套件:把每份文件斷詞成詞彙串列,建立 BM25Okapi(corpus),再用 get_scores(查詢詞串列) 取得分數。中文要先斷詞,例如用 jieba 或 CKIP。資料量大時,改用 Elasticsearch 這類內建 BM25 的搜尋引擎較實際。
BM25 擅長精確字詞比對,產品型號、錯誤代碼、專有名詞這類向量檢索容易漏掉的查詢,BM25 通常抓得比較準。所以不少 RAG 系統採用混合檢索,同時跑 BM25 與向量檢索,再用倒數排名融合(RRF)等方法合併兩邊結果。
BM 是 best matching 的縮寫,25 是 Robertson 等人在 Okapi 檢索系統中嘗試的一系列加權公式的編號,BM25 是其中表現較好而沿用下來的版本,所以也常寫作 Okapi BM25。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把BM25算法列為延伸術語。
相關術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本