完整定義
變分自編碼器(Variational Autoencoder,VAE)是一種生成式模型,屬於深度學習的範疇。它結合了自編碼器和變分推論的思想,能夠學習資料的潛在表示,並從該潛在空間中生成新的資料樣本。VAE 在 iPAS 中級考試中,可能會考察其基本原理、架構以及與傳統自編碼器的區別,例如 VAE 學習的是潛在變數的分布而非單一向量。
白話說明
你有沒有想過,不只把資料壓縮,再把它重新長出來,還能順便學會「生成」?
你可以把變分自編碼器想成「會把資料壓進潛在空間,再從那裡抽樣生成新內容」
它不是只記住一個答案,而是學一整個可以取樣的分布
所以它很適合做生成和表示學習
記住這句
先壓進潛在空間,再從分布裡抽樣長回來。
比喻:VAE 就像一位藝術家,不僅能複製畫作,還能理解畫作的風格和元素 -- 它能從現有資料中學習特徵,然後像變魔術一樣,創造出各種不同但風格一致的新作品。
容易混淆
變分自編碼器 vs 自編碼器
自編碼器主要做壓縮和重建
變分自編碼器還會學分布並做抽樣
最關鍵的區別:能不能生成新樣本
變分自編碼器 vs 生成對抗網路
VAE 直接優化重建和分布
GAN 用對抗訓練拉近真假差距
最關鍵的區別:訓練目標不同
變分自編碼器 vs 擴散模型
VAE 走潛在空間重建路線
擴散模型走去噪生成路線
最關鍵的區別:生成機制不同
實際案例
圖片生成
把臉部圖片壓進潛在空間後,能從相近的位置抽樣出新臉,做出有連續感的變化
異常偵測
模型若很難重建某張圖,常表示它和訓練資料分布差很多,可能是異常
演算法與應用
| 編碼器 | 把輸入壓成潛在表示 | 不只是單點,而是分布 |
| 重參數化 | 讓抽樣可微分 | 是訓練關鍵技巧 |
| 解碼器 | 從潛在表示重建資料 | 也能拿來生成 |
| 潛在空間 | 用連續空間表示樣本 | 方便插值和取樣 |
中英對照與常見說法
- 說法
- 變分自編碼器
- 出現場合
- 台灣正式用語
- 說法
- 变分自动编码器、变分自编码器
- 出現場合
- 簡體寫法,兩種都常見
- 說法
- Variational Autoencoder
- 出現場合
- 英文原名
- 說法
- VAE
- 出現場合
- 標準縮寫
跟一般自編碼器差在哪
關鍵差別在潛空間有沒有被約束。一般自編碼器只要求「壓縮後還原得回來」,中間長什麼樣它不管,所以潛空間會有一塊一塊沒被用到的區域,在那裡取樣解碼只會得到雜訊。VAE 多了一項 KL 散度,逼迫編碼結果貼近標準常態分布,潛空間因此變得連續,任取一點都解得出合理的東西。
- 編碼器輸出
- 自編碼器(AE)
- 一個固定的向量
- 變分自編碼器(VAE)
- 一個機率分布的平均值與變異數
- 潛空間
- 自編碼器(AE)
- 可能有空洞,隨便取一點解碼出來是雜訊
- 變分自編碼器(VAE)
- 被約束成接近標準常態分布,連續且完整
- 能不能生成新樣本
- 自編碼器(AE)
- 不能,它只會重建
- 變分自編碼器(VAE)
- 能,從分布裡取樣就能生成
- 損失函數
- 自編碼器(AE)
- 只有重建誤差
- 變分自編碼器(VAE)
- 重建誤差加上 KL 散度
兩個關鍵設計
重參數化技巧(reparameterization trick)。從分布取樣這個動作本身不可微,梯度傳不回編碼器。做法是把取樣改寫成「平均值加上標準差乘以一個外部的標準常態雜訊」,隨機性被隔離在那個外部雜訊裡,梯度就能順利通過。這是 VAE 能用反向傳播訓練的關鍵。
兩個損失要平衡。重建誤差要模型還原得像,KL 散度要潛空間規矩,兩者方向相反。KL 權重太大會出現後驗塌陷(posterior collapse):模型乾脆忽略潛變數,輸出所有樣本的平均,畫面糊成一團。權重太小則退化回一般自編碼器,失去生成能力。β-VAE 就是把這個權重明確拉出來當旋鈕的變體。
VAE 生成的影像通常比 GAN 或擴散模型模糊,因為重建損失多半用均方誤差,而均方誤差在不確定時的最佳解就是取平均。這也是為什麼現在的影像生成主流不是純 VAE,但 VAE 的編碼器與解碼器仍被大量使用:潛在擴散模型(如 Stable Diffusion)就是拿 VAE 把影像壓進潛空間,再在那裡跑擴散。
情境判斷
Q1(直覺題):你要做可插值的生成模型,變分自編碼器有幫助嗎?
有幫助,因為它的潛在空間通常比較連續。
Q2(判斷題):你要追求最銳利最逼真的圖片,VAE 一定是最佳選擇嗎?
不一定,VAE 有時會偏平滑,這時其他生成法可能更強。
iPAS 考試出題分析
變分自編碼器 屬於 iPAS AI 應用規劃師評鑑範圍(中級),實際考試內容以官方公告為準。
常見一起複習的方向包含:變分自編碼器的演算法原理與架構、生成模型與機率推論的數學基礎、VAE 的應用與限制分析。
常見問題
VAE 多了分布假設和抽樣能力,不只是重建。
因為訓練時會用變分推論的想法來近似複雜分布。
不一定,兩者擅長的目標不同。
VAE 出自 Kingma 與 Welling 在 2013 年發表的〈Auto-Encoding Variational Bayes〉。論文把變分下界重新參數化,讓它能用標準的隨機梯度方法最佳化,並訓練一個近似推論模型,也就是編碼器,去估計潛在變數的後驗分布。
做法是只用正常資料訓練 VAE,讓它學會正常樣本的分布。上線後若某筆資料的重建誤差特別大,或重建機率特別低,代表它和訓練時看過的資料差很多,就可以標成疑似異常。門檻值要用驗證資料決定,並搭配人工確認。
出現在這些考古題
官方公告試題的逐題解析裡,有 6 題把變分自編碼器列為延伸術語,這裡列出 5 題。
立即測驗
想測試你對 變分自編碼器 的掌握程度?用考古題作答
相關術語
來源
參考來源:en.wikipedia.org
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本