完整定義
T5 (Text-to-Text Transfer Transformer) 是 Google 開發的一種轉換器模型,其獨特之處在於將所有自然語言處理 (NLP) 任務,如翻譯、摘要、問答等,都轉換為文本到文本的格式。這種統一的方法簡化了模型訓練和應用,使其更易於泛化到不同的 NLP 任務。
白話說明
你有沒有想過,文字送進模型前,為什麼總要先切一刀、再整理一下?
你可以把它想成把文字整理成模型看得懂的單位。
文本到文本 的重點是 T5 (Text-to-Text Transfer Transformer) 是一種將所有 NLP 任務轉換為文本到文本格式的轉換器模型,簡化了模型訓練和應用。
它重要,是因為後面的分類、摘要、搜尋或生成,幾乎都靠這一步打底。
記住這句
先切文字,再談語意。
比喻:T5 就像一個超級翻譯機 -- 不管你是要翻譯語言、回答問題還是寫摘要,它都把它當成「把一段文字變成另一段文字」的任務來處理,讓所有事情都變得簡單統一。
容易混淆
文本到文本 vs 語言模型
文本到文本:偏向 把文字整理成模型可用的單位
語言模型:偏向 會預測文字的基礎模型
最關鍵的區別:文本到文本看的是「把文字整理成模型可用的單位」,語言模型看的是「會預測文字的基礎模型」。
文本到文本 vs 轉換器架構
文本到文本:偏向 把文字整理成模型可用的單位
轉換器架構:偏向 基礎架構
最關鍵的區別:文本到文本看的是「把文字整理成模型可用的單位」,轉換器架構看的是「基礎架構」。
實際案例
案例:客服信件先做詞幹或子詞切分
再送進分類模型,比直接硬吃原文更穩
案例:長篇會議紀錄先做摘要
管理者不用看完整文章,也能抓到重點
演算法與應用
先把詞、子詞或詞幹整理好,模型才有穩定輸入
文字表示方法不同,後面的分類和搜尋效果會差很多
常見任務是分類、摘要、翻譯和關鍵詞萃取
情境判斷
Q1(直覺題): 你要把一堆客服留言分成抱怨、詢問和稱讚,應該先做什麼?
先把文字切成模型能處理的單位,再做分類。
Q2(判斷題): 遇到超長中文句子和很多新詞時,還能沿用同一種切法嗎?
看情況,切分方式要跟語言和任務一起調,不然效果可能會掉。
常見問題
不一定,但大多數流程都需要某種切分或標記,否則模型很難穩定處理文字。
它不只看出現次數,也會看字詞組合、子詞或上下文,能更接近語意。
遇到新詞、長詞、專有名詞或多語混雜文本時,切分和表示方式最容易影響結果。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本