完整定義
因果語言模型 (CLM) 是一種特殊的語言模型,它僅使用序列中先前的詞彙來預測下一個詞彙。與雙向模型不同,CLM 避免了使用未來詞彙的信息,從而更真實地模擬了人類產生語言的方式。這種單向性使其在生成任務中表現出色,並能更好地控制生成文本的風格和內容。
白話說明
你想讓模型一個 token 一個 token 往下寫時,你會怎麼判斷它真正的作用?
你可以把它想成 因果語言模型是一種語言模型,它基於序列中先前詞彙預測下一個詞彙,並明確建模詞彙之間的因果關係,以提升生成文本的連貫性和可控性。
在 你想讓模型一個 token 一個 token 往下寫時 這種情境裡,這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。
比喻
因果語言模型就像一個故事接龍高手 -- 它只看過前面說了什麼,然後根據這些資訊來猜測接下來最合理的故事發展,確保故事邏輯順暢,不會突然跳到不相關的情節。
容易混淆
因果語言模型 vs 遮罩語言模型
因果語言模型只能看前文,遮罩語言模型會看左右上下文。
因果語言模型 vs 編碼器模型
因果語言模型重生成,編碼器模型重理解。
因果語言模型 vs 文字分類器
前者要一個 token 一個 token 產生內容,後者只要輸出類別。
實際案例
案例 1:聊天機器人
模型要根據前面的對話往下接話,這很符合因果語言模型的做法。
案例 2:程式碼補全
你打完前半段函式,模型接著預測下一個 token。
演算法與應用
- 面向
- 核心
- 重點
- 用前面的 token 預測下一個 token,形成自回歸生成。
- 面向
- 優點
- 重點
- 適合自然生成、對話、摘要草稿和程式碼補全。
- 面向
- 注意
- 重點
- 推理時容易累積誤差,前面一錯後面就一起偏。
情境判斷
Q1(判斷題): 如果模型在生成時能偷看後面的字,還算因果語言模型嗎?
不算,那已經違反了自回歸的限制。
Q2(判斷題): 如果任務是分類不是生成,還一定要用這種模型嗎?
不一定,這時可能有更省資源的模型更合適。
常見問題
因為它們都是沿著前文逐步預測下一個 token。
BERT 看雙向上下文,因果語言模型只能看前面。
不只,摘要、寫作、補全、翻譯草稿都會用到。
出現在這些考古題
官方公告試題的逐題解析裡,這 3 題把因果語言模型列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本