---
title: "低秩適應（Low-Rank Adaptation）"
slug: low-rank-adaptation
language: zh-TW
source: https://aiterms.tw/terms/low-rank-adaptation
updated_at: 2026-06-22
tags: [微調, 參數高效微調, 大型語言模型, LoRA, 遷移學習]
ipas_term: false
---

# 低秩適應（Low-Rank Adaptation）

透過在預訓練模型的權重矩陣旁插入低秩分解矩陣來進行參數高效微調的技術。

## 完整說明

低秩適應（Low-Rank Adaptation，簡稱 LoRA）是一種參數高效微調（Parameter-Efficient Fine-Tuning, PEFT）方法，透過在預訓練大型語言模型的特定權重矩陣旁插入一對低秩分解矩陣，僅訓練這些新增的少量參數，在保留原始模型知識的同時，以極低的計算成本實現任務特定的模型適應。

## 常見問題

### LoRA 的秩（rank）該如何設定？設定越大越好嗎？

LoRA 的秩（rank，通常用 r 表示）設定需要在模型表達能力與參數效率之間取得平衡。rank 越大，LoRA 矩陣能夠表達的變化越豐富，理論上對複雜任務的適應能力越強，但同時訓練參數量也隨之增加，記憶體需求提高。實務上，r 設定為 4 到 16 對大多數微調任務已足夠，複雜的多任務微調才需要考慮更高的 rank（如 64 或 128）。過高的 rank 可能導致過擬合，且優勢邊際遞減。建議從較小的 rank 開始實驗，再根據驗證集表現逐步調整，不宜直接設定過高的值。

### LoRA 與 Adapter 方法有什麼不同？

LoRA 與 Adapter 同屬參數高效微調（PEFT）方法，但架構設計有本質差異。Adapter 方法是在模型的 Transformer 層之間插入小型的適應器模組（通常包含一個縮小維度的線性層、激活函數，再加上一個放大維度的線性層），這會改變模型的推論計算圖，增加推論延遲。LoRA 則不改變模型架構，推論時可以將訓練好的 ΔW = AB 合併回原始權重 W，使得推論速度與原始模型完全相同，沒有額外延遲。這是 LoRA 相較於 Adapter 的重要優勢，特別是在對推論效能要求嚴格的生產環境中更為明顯。

### 使用 LoRA 微調的模型與基礎模型有多少差異？如何切換？

LoRA 微調的模型與基礎模型的差異僅在於新增的低秩矩陣 A 和 B，原始權重 W 完全保持不變。這帶來了非常靈活的使用模式：可以只儲存 ΔW = AB 這個「差值」（稱為 LoRA 適配器），體積遠比完整模型小得多（通常只有幾十 MB 對應數 GB 的基礎模型）。使用時，可以根據不同的任務需求動態載入不同的 LoRA 適配器，基礎模型保持不動。甚至可以同時疊加多個 LoRA 適配器（Multi-LoRA），讓模型同時具備多種特化能力。這種設計使得在同一台伺服器上服務多個不同微調版本的模型成為可行。

---

來源：https://aiterms.tw/terms/low-rank-adaptation
快查頁：https://aiterms.tw/terms/low-rank-adaptation
最後更新：2026/06/22
深度解說：https://aiterms.tw/learning/what-is-low-rank-adaptation