AITerms 登入
機器學習深度學習自然語言處理

閃電注意力機制(Flash Attention)是什麼?

閃電注意力機制是一種優化注意力計算的技術,透過重新排序計算步驟和利用硬體加速,大幅提升注意力計算的速度和記憶體效率。

完整定義

閃電注意力機制是一種用於加速注意力計算的演算法。它透過重新排序計算步驟,並利用硬體加速(例如 GPU 的快取和並行處理),大幅提升注意力計算的速度和記憶體效率。閃電注意力機制尤其適用於處理長序列,並能降低訓練大型語言模型的成本。

白話說明

你有沒有看過長文本模型一跑就很吃記憶體,速度也跟著掉下來?

你可以把閃電注意力機制想成把注意力計算做得更省記憶體、更少中間搬運,模型在長序列上就不容易卡住。

它重要,是因為傳統注意力在長序列下很耗資源,做大模型和長上下文時特別容易碰到瓶頸。

記住這句

同樣算注意力,但更省記憶體、更能撐長序列。

比喻:閃電注意力就像是把一堆散亂的積木(注意力計算)重新整理,並用更聰明、更有效率的方法堆疊起來 -- 它不是一顆一顆慢慢堆,而是巧妙地一次處理一大批,讓堆積木的速度快上好幾倍,還省下很多空間。

容易混淆

閃電注意力機制 vs 傳統注意力機制

傳統注意力常要存很多中間結果。

閃電注意力會把運算流程排得更節省,重點是降低記憶體壓力。

閃電注意力機制 vs 轉換器架構

轉換器架構是整體模型設計。

閃電注意力是裡面一個更高效的注意力實作方式。

實際案例

長文件摘要

文件很長時,模型若注意力太重會先卡住,閃電注意力能讓處理更可行。

大型語言模型訓練

當上下文拉長,效能和記憶體都會吃緊,這種優化特別有幫助。

演算法與應用

它的關鍵是分塊計算與減少不必要的中間記憶體存取。

常見於需要長上下文的語言模型訓練與推論,也很適合算力受限但又想拉長序列的情境。

情境判斷

Q1:如果模型在短句子上跑得很好,閃電注意力還有價值嗎?

有,但它的價值通常在長序列時更明顯。

Q2:只要用了閃電注意力,模型速度一定大幅提升嗎?

不一定,還要看硬體、批次大小和整體架構。

常見問題

範例考題

在大型語言模型(LLM)的效能優化中,Flash Attention 常被用來改善 Transformer 注意力機制的運算效率。關於 Flash Attention 的主要效益,下列敘述何者最正確?

  1. A透過忽略影響較小的注意力權重,減少模型需要計算的關聯數量,以降低運算成本
  2. B透過調整注意力計算與資料處理方式,減少中間結果的儲存需求,進而改善速度與資源使用效率
  3. C透過增加注意力計算的並行程度,使模型可同時處理更多注意力頭部
  4. D透過將注意力結果暫存於高速快取記憶體,以避免重複計算造成延遲
到題目頁作答

出現在這些考古題

官方公告試題的逐題解析裡,這 2 題把閃電注意力機制列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本