AITerms 登入
iPAS 中級 大型語言模型自然語言處理深度學習

生成式預訓練轉換器(Generative Pre-trained Transformer)是什麼?

OpenAI 的自回歸語言模型,一個字接一個字生成文本,只使用 Decoder 架構

完整定義

生成式預訓練轉換器 (GPT) 是一種基於 Transformer 架構的大型語言模型。它首先在大量的文本資料上進行預訓練,學習語言的通用表示,然後可以針對特定任務進行微調。GPT 模型能夠生成連貫且有意義的文本,並在各種自然語言處理任務中表現出色。在 iPAS 考試中,GPT 的原理和應用是評估候選人對大型語言模型理解的重要環節。

白話說明

你有沒有看過模型一個字接一個字往下生成,像在接話一樣?

你可以把 GPT 想成先在大量資料上學語言,再用一個接一個 token 的方式往前生成內容的模型。

它重要,是因為這種 decoder-only 架構把生成能力做得很順,成了很多大型語言模型的代表。

記住這句

先預訓練,再一個 token 一個 token 往前生,就是 GPT。

比喻:GPT 就像一位有預知能力的作家 -- 它讀過海量書籍後,能根據前面寫的內容,一個字一個字地預測並寫出接下來最合理、最流暢的文字。

容易混淆

GPT vs 傳統 Seq2Seq 模型

傳統 Seq2Seq 通常同時有編碼器和解碼器。

GPT 主要走單向生成,專注在往前接續內容。

GPT vs 轉換器架構

轉換器是更大的架構概念。

GPT 是使用其中 decoder 路線的一種代表模型。

實際案例

聊天助理

你輸入一句話,模型接著往下補出完整回應。

內容續寫

給模型一段文章開頭,它可以延伸出後續段落,維持語氣和主題。

演算法與應用

它的核心依賴自注意力與自回歸生成,讓模型依照前文逐步產生後續內容。

在摘要、寫作、程式協助和問答裡,這種生成方式都非常常見。

iPAS 考題

Q:GPT 為什麼叫生成式預訓練轉換器?

因為它先預訓練,再用轉換器架構做生成式輸出。

Q:GPT 的輸出方式有什麼特徵?

它是自回歸的,會根據前文一步一步生成下一個 token。

情境判斷

Q1:如果模型能根據前文一路接著往下寫,這和 GPT 的生成方式接近嗎?

接近,這就是它最典型的行為。

Q2:如果你要雙向理解全文,再做判斷,GPT 一定是最合適的嗎?

不一定,因為它偏生成,若任務要強雙向表徵,可能要看其他模型。

常見問題

立即測驗

想測試你對 生成式預訓練轉換器 的掌握程度?用考古題作答

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。

其他格式:Markdown 版本