AITerms 登入
生成式AI深度學習電腦視覺

潛在擴散模型(Latent Diffusion Model)是什麼?

潛在擴散模型(LDM)是一種生成式AI模型,透過在潛在空間中進行擴散和逆擴散過程,生成高解析度、高品質的圖像或其他資料。

完整定義

潛在擴散模型(LDM)是一種基於擴散模型的生成式AI模型,它將擴散和逆擴散過程應用於資料的潛在空間,而非原始像素空間。這種方法顯著降低了計算複雜度,使得生成高解析度圖像成為可能。LDM在圖像生成、圖像編輯和視訊生成等領域表現出色。

白話說明

生成圖片時,為什麼有些模型不用直接在像素上慢慢畫,而是先在更小的空間裡做?

你可以把它想成先在草圖上修改,再把草圖放大成成品,省很多計算。

潛在擴散模型(LDM)是一種生成式AI模型,透過在潛在空間中進行擴散和逆擴散過程,生成高解析度、高品質的圖像或其他資料。

記住這句

先在草圖空間畫,再放大成圖。

比喻:LDM 就像一個厲害的藝術家,它不是直接在畫布上畫,而是先在腦中勾勒出一個「模糊的草圖」(潛在空間),然後在這個草圖上不斷添加細節,逐漸把雜訊變成清晰的圖像,最後變成一幅精緻的畫作。

容易混淆

一般擴散模型

一般擴散模型直接處理像素,LDM 先在潛在空間裡工作,速度更快。

GAN

GAN 是對抗式生成,LDM 是擴散式生成,訓練方式和生成流程不同。

實際案例

文字生圖

系統先把文字條件轉成潛在表示,再逐步去雜訊生成高品質圖片。

圖片編輯

做修圖或局部重繪時,LDM 可以在潛在空間裡調整內容,再還原成影像。

演算法與應用

LDM 通常結合自編碼器和擴散過程,把高維像素壓到較小的 latent space,再在那裡做生成。這麼做能大幅降計算量,也讓高解析度生成更可行。

中英對照與常見說法

說法
潛在擴散模型
出現場合
台灣正式用語
說法
潜在扩散模型
出現場合
簡體寫法
說法
Latent Diffusion Model
出現場合
英文原名
說法
LDM
出現場合
標準縮寫
說法
潛空間擴散
出現場合
常見變體

關鍵改動:把擴散搬到潛空間

一般的擴散模型直接在像素上加噪與去噪。一張 512×512 的彩色圖有將近 79 萬個數值,每一步去噪都要在這個維度上算,幾十步下來成本極高。

LDM 的做法是加一個自編碼器:

第一步,用編碼器把影像壓縮到低維的潛空間。壓縮倍率常見是 8 倍,512×512 會變成 64×64,數值量降到約六十四分之一。

第二步,擴散的加噪與去噪全部在這個 64×64 的潛空間裡進行。

第三步,去噪完成後,用解碼器把潛向量還原成影像。

這個改動讓消費級顯示卡也跑得動高解析度生成,Stable Diffusion 就是建立在這個架構上。

代價是自編碼器的重建品質變成上限。潛空間丟掉的細節(極細的紋理、小字)解碼器補不回來,這是文字生成在影像裡常常糊掉的原因之一。

文字怎麼控制生成

文字條件透過交叉注意力(cross-attention) 注入去噪網路。文字先過一個文字編碼器(CLIP 的文字塔或 T5)轉成向量序列,去噪網路的每個區塊裡,影像特徵當 query、文字特徵當 key 與 value,讓每個位置都能參照提示詞。

無分類器導引(Classifier-Free Guidance, CFG) 是控制「多聽話」的旋鈕。做法是同一步同時算一次有提示與一次無提示的預測,再把兩者的差放大。CFG 值調高,畫面更貼近提示但多樣性下降、容易過飽和;調低則更自由但可能偏離需求。

取樣器(sampler)決定去噪的步數與路徑。 DDIM、DPM-Solver 這類方法能在二十步左右得到不錯的結果,比原始 DDPM 的上千步快得多。步數不是越多越好,超過一定數量之後畫面幾乎不再變化,只是白花時間。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 2 題把潛在擴散模型列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本