AITerms 登入
生成式AI深度學習AI應用

文字生成音訊(Text-to-Audio)是什麼?

文字生成音訊(Text-to-Audio)依文字描述直接合成音樂、音效或環境音,和只把文字唸成人聲的文字轉語音不同。

完整定義

文字生成音訊(Text-to-Audio)是一類生成式 AI 技術:你給模型一段文字描述,例如「雨中的城市街道,遠處有車聲」,模型就直接合成出對應的聲音。產出內容涵蓋音樂、音效以及環境音,主要用在影音配樂、遊戲音效,以及素材製作。它常被誤當成文字轉語音(Text-to-Speech),但後者只負責把文字唸成人聲,前者要生成的是整段聲音場景。

白話說明

你有沒有想過,一段文字描述能不能直接變成一整段聲音,而不只是把它唸出來?

你可以把它想成請一位配樂師讀你的腳本,然後直接交出成品。

文字生成音訊的重點是:你寫「雨中的城市街道,遠處有車聲」,模型就合成出那個聲音場景。

它重要,是因為影音內容的聲音部分過去只能靠素材庫或錄音,現在多了一條用文字下指令的路。

記住這句

輸出裡有沒有人在說話,就能分辨你看到的是文字生成音訊還是文字轉語音。

比喻:Text-to-Audio 就像一個會寫歌的 AI -- 它不只唸出文字,還能為文字配上背景音樂、音效,甚至創造出一段完整的聲音體驗。

容易混淆

文字生成音訊 vs 文字轉語音

文字生成音訊:生成音樂、音效以及環境音

文字轉語音:生成人在說話的聲音

最關鍵的區別:文字轉語音的輸出一定是「有人在唸字」,文字生成音訊的輸出通常沒有人聲。這兩個英文名字只差一個字,中文卻是兩件事,查資料時最容易在這裡搞混。

文字生成音訊 vs 音樂生成

文字生成音訊:輸入一定是文字,輸出可以是音樂以外的任何聲音

音樂生成:專指產出音樂,輸入不一定是文字,也可能是旋律片段或和弦

最關鍵的區別:音樂生成是「輸出限定音樂」,文字生成音訊是「輸入限定文字」,兩者重疊但不等於。

文字生成音訊 vs 語音合成技術

文字生成音訊:屬於生成式 AI 的音訊分支

語音合成技術:專門處理把文字變成語音的整套技術

最關鍵的區別:語音合成技術是文字轉語音的底層,跟文字生成音訊是兩條並行的線,不是上下游。

實際案例

案例:短影音要配一段 15 秒的背景音樂

用文字描述情緒與樂器,直接生成一段可用的配樂,不用翻素材庫比對授權

案例:遊戲需要「木門在石造地窖裡緩慢推開」的音效

這種指定得很細的音效在素材庫不一定找得到,用文字描述生成比錄製快

案例:Podcast 想要一段雨聲當轉場

環境音用生成的就夠,不必外出實地錄音

演算法與應用

主流做法是先把聲音壓成一種比較好處理的表示,再讓模型依照文字條件一步步生成,最後還原成波形

常見的代表性系統:Meta 的 AudioCraft,底下 MusicGen 負責文字生成音樂、AudioGen 負責文字生成音效;Stability AI 的 Stable Audio,依官方頁面目前標示為 Stable Audio 3.0;學術端常被引用的 AudioLDM 走的是 latent diffusion(潛在擴散)路線

實務上影響成品的通常是三件事:描述寫得夠不夠具體、要生成的長度,以及模型本身擅長音樂還是音效

商用之前要看清楚該模型的授權條款,不同系統對輸出內容的商用權利規定並不一致

情境判斷

Q1(直覺題): 你要讓網站的無障礙功能把文章唸給視障使用者聽,該用文字生成音訊嗎?

不是,那是文字轉語音的工作。文字生成音訊產出的通常沒有人聲。

Q2(判斷題): 你要幫一支產品影片配背景音樂,一定要用文字生成音訊嗎?

看情況。如果只要一段情緒對的通用配樂,授權音樂庫可能更快也更安全;如果需要的氛圍很特定、素材庫翻不到,用生成的才划算。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本