AITerms 登入
自然語言處理模型訓練遷移學習

檢索增強微調(Retrieval-Augmented Fine-tuning)是什麼?

檢索增強微調結合了檢索式和生成式模型的優勢,透過檢索相關資訊來增強微調過程,提升模型在特定任務上的效能。

完整定義

檢索增強微調(Retrieval-Augmented Fine-tuning, RAFT)是一種將檢索式模型與生成式模型結合的技術。它首先從外部知識庫中檢索與輸入相關的資訊,然後將這些資訊融入到微調過程中,以提升模型在特定任務上的效能,尤其是在需要大量外部知識的任務中。

白話說明

你有沒有想過,模型如果在微調時就先看過相關文件,會不會更懂專業領域?

你可以把檢索增強微調想成一邊補課、一邊做題,模型在訓練時就把外部知識一起納入。

它重要是因為有些領域知識更新很快,單靠封閉式微調很容易跟不上。

記住這句

訓練時就讓模型看文件,叫檢索增強微調。

比喻:檢索增強微調就像一個聰明的學生在考試前,除了努力讀書(微調),還懂得查閱參考書(檢索)來補充知識 -- 這樣能更準確地回答問題,減少「瞎編」的情況。

容易混淆

檢索增強微調 vs RAG

檢索增強微調是在訓練階段把檢索納進來

RAG 多半是在推論時先檢索再生成

最關鍵的區別是訓練時用還是回答時用。

檢索增強微調 vs 傳統微調

前者會把外部知識片段一起帶進訓練

後者主要是拿標註資料直接調參

最關鍵的區別是有沒有把檢索結果當訓練訊號。

實際案例

企業內部知識

客服模型微調時直接搭配制度文件,之後回答會更貼近公司規範。

醫療問答

模型在微調過程中參考最新指南,比只看舊資料更容易跟上臨床更新。

演算法與應用

它常把檢索到的片段、問題與答案一起組成訓練樣本。

好處是能把外部知識和模型參數一起調整,減少純微調的盲點。

但資料品質很關鍵,檢索到錯的內容,模型也會學歪。

情境判斷

Q1(直覺題):如果訓練資料裡直接放入搜尋到的文件片段,這比較像什麼?

這比較像檢索增強微調,因為檢索結果已經參與訓練。

Q2(判斷題):檢索增強微調做得好,就代表推論時不用再檢索了嗎?

不一定。很多場景推論時還是需要檢索,因為知識會更新,模型參數不會自己長新資料。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本