完整定義
生成式預訓練轉換器 (GPT) 是一種基於 Transformer 架構的大型語言模型。它首先在大量的文本資料上進行預訓練,學習語言的通用表示,然後可以針對特定任務進行微調。GPT 模型能夠生成連貫且有意義的文本,並在各種自然語言處理任務中表現出色。在 iPAS 考試中,GPT 的原理和應用是評估候選人對大型語言模型理解的重要環節。
白話說明
你有沒有看過模型一個字接一個字往下生成,像在接話一樣?
你可以把 GPT 想成先在大量資料上學語言,再用一個接一個 token 的方式往前生成內容的模型。
它重要,是因為這種 decoder-only 架構把生成能力做得很順,成了很多大型語言模型的代表。
記住這句
先預訓練,再一個 token 一個 token 往前生,就是 GPT。
比喻:GPT 就像一位有預知能力的作家 -- 它讀過海量書籍後,能根據前面寫的內容,一個字一個字地預測並寫出接下來最合理、最流暢的文字。
容易混淆
GPT vs 傳統 Seq2Seq 模型
傳統 Seq2Seq 通常同時有編碼器和解碼器。
GPT 主要走單向生成,專注在往前接續內容。
GPT vs 轉換器架構
轉換器是更大的架構概念。
GPT 是使用其中 decoder 路線的一種代表模型。
實際案例
聊天助理
你輸入一句話,模型接著往下補出完整回應。
內容續寫
給模型一段文章開頭,它可以延伸出後續段落,維持語氣和主題。
演算法與應用
它的核心依賴自注意力與自回歸生成,讓模型依照前文逐步產生後續內容。
在摘要、寫作、程式協助和問答裡,這種生成方式都非常常見。
iPAS 考題
Q:GPT 為什麼叫生成式預訓練轉換器?
因為它先預訓練,再用轉換器架構做生成式輸出。
Q:GPT 的輸出方式有什麼特徵?
它是自回歸的,會根據前文一步一步生成下一個 token。
情境判斷
Q1:如果模型能根據前文一路接著往下寫,這和 GPT 的生成方式接近嗎?
接近,這就是它最典型的行為。
Q2:如果你要雙向理解全文,再做判斷,GPT 一定是最合適的嗎?
不一定,因為它偏生成,若任務要強雙向表徵,可能要看其他模型。
常見問題
不完全一樣,GPT 是大型語言模型的一種代表架構。
不只,還能摘要、改寫、寫程式和做問答。
因為它能讓模型看見前文裡彼此的關係。
預訓練打底,微調把能力拉向特定任務。
立即測驗
想測試你對 生成式預訓練轉換器 的掌握程度?用考古題作答
相關術語
來源
這個術語目前沒有標註外部來源。
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本