完整定義
注意力可視化是一種解釋性AI技術,旨在揭示神經網路模型在做出預測或決策時,將注意力集中在輸入數據的哪些區域。通過視覺化注意力權重,可以深入了解模型的推理過程,驗證其是否基於合理的特徵,並診斷模型可能存在的偏差或錯誤。
白話說明
你想知道模型在看哪個字、哪一塊圖,該怎麼把它畫出來?
你可以把注意力可視化想成一張熱圖,讓模型看重的部分直接浮出來。
它的用途是幫你理解模型,不是自動替模型證明因果關係。
記住這句
看得見不代表已經證明,只代表多了一個觀察角度
比喻:注意力可視化就像是給 AI 模型的「透視眼鏡」-- 我們能看到模型在處理圖片或文字時,到底把「眼神」放在哪裡,哪些部分對它來說最關鍵,就像看醫生怎麼診斷一樣。
容易混淆
注意力可視化 vs 可解釋人工智慧?
注意力可視化:把權重畫成圖,方便人看
可解釋人工智慧:更廣泛的理解模型方法集合
最關鍵的區別:可視化是 XAI 的一種工具,不是全部
注意力熱圖 vs 顯著圖?
注意力熱圖:看權重分佈
顯著圖:看輸入對輸出的敏感區域
最關鍵的區別:一個看注意力,一個看梯度敏感度
注意力可視化 vs 因果證明?
注意力可視化:幫助你觀察模型關注哪裡
因果證明:幫助你確認真正造成結果的原因
最關鍵的區別:前者是觀察窗口,後者需要更嚴格的實驗設計
實際案例
機器翻譯除錯
當翻譯結果怪怪的時候,工程師用熱圖檢查模型是不是把焦點放錯位置
文件問答
團隊拿可視化圖檢查模型是不是只盯著標題,卻忽略正文裡真正的答案句
深入了解
- 重點
- 輸出
- 你要看什麼
- 權重矩陣或熱圖
- 為什麼重要
- 把模型內部的關注關係畫成圖
- 重點
- 用途
- 你要看什麼
- 除錯與分析
- 為什麼重要
- 幫你發現模型是否看錯地方
- 重點
- 限制
- 你要看什麼
- 不是因果證據
- 為什麼重要
- 看到重點不等於證明原因
情境判斷
Q1:模型翻譯出錯時,先看注意力圖有沒有幫助?
有,至少能先判斷模型是不是把注意力放到不相關的位置
Q2:如果注意力圖看起來很漂亮,是否就能保證模型公平?
不能,漂亮不代表公平,還要看資料偏差、結果分佈與實際表現
常見問題
不一定。它主要幫你理解與除錯,改善準確率要靠資料、模型與訓練調整。
看你的任務與模型。文字常用權重圖,影像常用熱圖或遮罩式分析。
可以當線索,但通常還要搭配其他偵測方法一起看。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把注意力可視化列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本