AITerms 登入
機器學習深度學習自然語言處理

適配器模組(Adapter)是什麼?

適配器模組是一種輕量級的模型微調方法,透過在預訓練模型中插入少量可訓練參數,以適應特定任務,同時保持原始模型參數凍結。

完整定義

適配器模組是一種參數高效的遷移學習技術,它在預訓練模型中插入小型、可訓練的模組(稱為適配器),並凍結原始模型的大部分參數。這種方法允許模型快速適應新任務,同時避免了從頭開始訓練或微調整個模型的巨大計算成本。適配器通常插入在Transformer層之間或內部。

白話說明

你買了一台歐洲的電器帶回台灣,插頭不合怎麼辦?

適配器模組就是 AI 模型的「轉接頭」:在一個已經訓練好的大模型中,插入一小組新的可訓練參數,讓它適應新的任務,同時保持原始模型的參數不動。這樣做的好處是只需要訓練很少的參數(通常不到原始模型的 1%),大幅降低計算成本和儲存需求。

當你想讓一個通用模型變成專業模型,但又沒有資源從頭訓練時,適配器就是最經濟的選擇。

記住這句

不改整台機器,只加一個轉接頭,就能適應新任務。

比喻:適配器模組就像是給一台強大的通用機器(預訓練模型)加上一個專用工具頭 -- 機器本身不用動大手術,只要換上這個小小的工具頭,就能執行特定的任務,而且非常有效率。

容易混淆

適配器 vs 全模型微調 vs LoRA

適配器:在模型中插入小型瓶頸層,只訓練這些新增的參數。

全模型微調:更新模型所有參數,效果好但成本高、容易過擬合。

LoRA(Low-Rank Adaptation):適配器的一種改良,用低秩矩陣分解來近似參數更新,更省記憶體。

最關鍵的區別:適配器和 LoRA 都是「只動一小部分」的省錢做法,全模型微調是「全部重來」的高成本做法。

實際案例

多語言翻譯

Google 在多語言 BERT 上為每種語言加一個適配器,而不是為每種語言訓練一個完整的模型。100 種語言只需要 100 個小型適配器(每個約 2MB),而非 100 個完整模型(每個約 400MB),儲存空間省了 99%。

醫療文本分析

一家醫療 AI 公司想讓通用語言模型理解醫學術語,但只有 5000 筆醫療文本。全模型微調會嚴重過擬合,改用適配器後,只訓練了 0.5% 的參數,在醫療問答任務上的準確率比全模型微調還高 3%。

深入了解

步驟
凍結原始模型
做什麼
把預訓練模型所有參數鎖定,不讓它們被修改
關鍵考量
保留通用知識
步驟
插入適配器層
做什麼
在 Transformer 的每一層中間加入小型瓶頸結構
關鍵考量
瓶頸維度越小,參數越少但表達力也越弱
步驟
訓練適配器
做什麼
只用新任務的資料訓練適配器的參數
關鍵考量
學習率可以比全模型微調大
步驟
推論時組合
做什麼
把適配器和原始模型組合使用
關鍵考量
可以隨時拔掉適配器換回通用模型

情境判斷

Q1(直覺題): 你有一個預訓練的 BERT 模型,想讓它同時處理法律、醫療、金融三個領域的文本分類。你應該微調三個完整模型,還是訓練三個適配器?

訓練三個適配器。三個適配器加起來的參數量還不到一個完整模型的 5%,而且可以共用同一個基礎模型,切換領域只需要切換適配器。

Q2(判斷題): 你的適配器在新任務上表現不如全模型微調,差了 5% 準確率。你應該堅持用適配器,還是改用全模型微調?

看情境。如果你有足夠的資料(幾萬筆以上)和算力,5% 的差距可能值得用全模型微調。但如果資料少、需要多任務切換、或算力有限,適配器的效率優勢更重要。也可以嘗試增加適配器的瓶頸維度或使用 LoRA 來縮小差距。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本