AITerms 登入
深度學習自然語言處理神經網路

位置編碼(Positional Encoding)是什麼?

位置編碼是一種將序列中單詞或符號的位置資訊嵌入到向量表示中的技術,使模型能感知序列順序。

完整定義

位置編碼是一種在序列模型(如Transformer)中使用的技術,用於將序列中每個元素的位置資訊添加到其嵌入向量中。由於Transformer等模型本身不具備感知順序的能力,位置編碼的引入使得模型能夠區分序列中不同位置的元素,從而更好地理解序列的結構和含義。

白話說明

你有沒有想過,Transformer 明明很強,卻還要另外告訴它句子順序?

你可以把 位置編碼 想成 把順序資訊塞回向量裡。

Transformer 不看位置就會把字看亂,把順序資訊塞回向量,模型才知道誰先誰後 這件事就特別重要。

記住這句

把順序資訊塞回向量,模型才知道誰先誰後

比喻:位置編碼就像給每個字一個「身份證號碼」-- 在機器處理「我愛你」和「你愛我」時,如果沒有位置編碼,它可能分不清順序,有了編碼就能知道哪個字在前,哪個在後。

容易混淆

位置編碼 vs 詞嵌入

詞嵌入像給每個字一個「意義標籤」,讓模型理解字的含義;位置編碼是給字一個「位置標籤」,讓模型理解字在句子中的順序關係。

最關鍵的區別:一個補順序,一個補語意。

位置編碼 vs 詞嵌入

位置編碼管順序,詞嵌入管詞本身的語意

最關鍵的區別:一個告訴它先後,一個告訴它意思。

實際案例

案例 1:翻譯模型靠位置編碼分辨前後文順序

案例 2:長句摘要時,讓模型知道詞在句中的位置

演算法與應用

核心意思就是:把順序資訊塞回向量,模型才知道誰先誰後。

可以用固定的正弦餘弦,也可以用可學習的位置向量

沒有位置資訊時,自注意力很難分辨誰先誰後

情境判斷

Q2(判斷題): 句子很短時,還需要位置編碼嗎?

看情況,短句影響可能小,但模型架構通常還是會保留它

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把位置編碼列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本