AITerms 登入
機器學習深度學習自然語言處理

稀疏注意力機制(Sparse Attention)是什麼?

稀疏注意力機制是一種減少注意力機制計算複雜度的技術,透過只關注輸入序列中的部分元素,降低運算量,提升模型效率。

完整定義

稀疏注意力機制是一種注意力機制的變體,旨在降低計算複雜度。傳統的注意力機制需要計算輸入序列中所有元素之間的關聯性,而稀疏注意力機制則只關注部分元素,從而減少運算量,提升模型效率。常見應用包括長文本處理、圖像處理和語音辨識。

白話說明

你有沒有在你要處理超長文章,但算力和記憶體都有限,發現只看表面常常不夠?

你可以把它想成注意力只看一部分重點,不必每個 token 都互相盯著看。

全注意力對長序列太貴,稀疏注意力就是拿計算量換長文本能力。

記住這句

只讓部分 token 互相注意,就能省算力。

比喻:稀疏注意力機制就像一個聰明的學生,在讀一本很厚的書時,他不會每個字都仔細看,而是只挑選「關鍵詞」和「重要句子」來理解整本書的精髓。這樣既能快速掌握內容,又不會因為資訊量太大而疲憊。

容易混淆

全注意力機制 (Full Attention)

全注意力機制像個每個字都讀的學生,雖然很全面,但遇到長篇大論就會讀得很慢。

稀疏注意力機制則像個速讀高手,只挑重點看,雖然可能漏掉細節,但在處理超長文本時,速度和效率會大大提升。

實際案例

法律文件很長,模型只看局部鄰近片段和少數全域標記。

長篇會議紀錄用稀疏注意力,能在可接受的成本下處理更長上下文。

演算法與應用

常見模式有局部窗口、固定稀疏圖、全域 token 和可學習稀疏化。

它的目標是把 O(n^2) 的成本壓低,讓長上下文更可行。

情境判斷

Q1(直覺題): 如果文本很長、算力又緊,這種方法有幫助嗎?

有。它就是為這種場景設計的。

Q2(判斷題): 如果任務最在意每個 token 彼此都要完整互看,還適合嗎?

不一定。看情況,全注意力可能更準,只是更貴。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 2 題把稀疏注意力機制列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本