---
title: "專家混合模型（Mixture of Experts）"
slug: mixture-of-experts
language: zh-TW
source: https://aiterms.tw/terms/mixture-of-experts
updated_at: 2026-04-29
tags: [機器學習, 深度學習, 自然語言處理, 大型語言模型, 模型訓練, 最佳化, 神經網路]
ipas_term: false
---

# 專家混合模型（Mixture of Experts）

> **你有沒有想過，模型能不能像找專長同事那樣，把不同問題交給不同人處理？**
>
> 你可以把專家混合模型想成，先由路由器判斷這個 token 該交給哪幾個專家，再把結果合起來。
> 它重要在於，模型容量可以很大，但每次實際只啟動少數專家，計算成本不必跟著爆炸。

### 容易混淆

> **專家混合模型 vs 深度混合**
>
> 專家混合模型：在不同專家之間分配 token。
> 深度混合：在不同深度之間分配 token。
> 最關鍵的區別：前者選誰算，後者選算多深。

> **專家混合模型 vs 密集模型**
>
> 專家混合模型：每次只啟動部分參數。
> 密集模型：每次大多數參數都會參與計算。
> 最關鍵的區別：前者稀疏，後者密集。

### 記住這句就好

> 大模型不必每次全員上場，找對專家就好。

### 實際案例

> **多語言翻譯**
>
> 不同語言或領域可以由不同專家處理，讓模型在保留大容量的同時，維持較好的效率。

> **企業客服路由**
>
> 物流、退款、技術支援各自交給不同專家，模型就能把不同問題分流處理。

### 算法與應用

> 關鍵元件是路由器，負責決定哪些專家被啟動。
> 常見挑戰包括負載不均、路由不穩和訓練難度。
> 它很適合追求高容量又要控制推論成本的場景。

### 情境判斷

> **Q1（情境題）：** 如果某幾個專家永遠最忙，這代表什麼？
>
> → 可能是負載不均。路由器沒分好工作，會讓少數專家過勞、其他專家閒置。

> **Q2（情境題）：** 專家混合模型一定比普通模型更好嗎？
>
> → 不一定。它更複雜，訓練和部署成本都更高，只有在容量和效率需求明確時才特別值得。

### 常見問題

> **Q：專家混合模型的專家是真的人嗎？**
>
> 不是。專家是模型中的子網路或參數群組。

> **Q：它適合所有任務嗎？**
>
> 不適合。若任務單純、模型不大，密集模型可能更簡單也更穩。

> **Q：它和集成學習一樣嗎？**
>
> 不一樣。集成學習是多模型投票，專家混合模型是單一架構內部的稀疏路由。

### 相關術語

> - **轉換器架構**：很多專家混合模型都建立在 Transformer 上。
> - **深度混合**：同樣是在做稀疏計算的對照概念。
> - **分散式訓練**：模型變大後常需要。
> - **模型平行化**：很大的專家模型常會用到。
> - **模型壓縮**：了解容量和成本的取捨時會一起看。

---

來源：https://aiterms.tw/terms/mixture-of-experts
快查頁：https://aiterms.tw/terms/mixture-of-experts
最後更新：2026/04/29
深度解說：https://aiterms.tw/learning/what-is-mixture-of-experts