AITerms 登入
機器學習深度學習神經網路

機制性可解釋性(Mechanistic Interpretability)是什麼?

機制性可解釋性旨在理解AI模型內部運作的具體機制,如同理解程式碼般,而非僅僅觀察輸入輸出關係。

完整定義

機制性可解釋性是一種AI研究方向,目標是理解AI模型內部如何做出決策,不僅僅是觀察輸入和輸出之間的關係,而是深入了解模型內部神經元、權重和激活函數等組件如何協同工作,最終產生特定的結果。它試圖將模型的行為分解為更小的、可理解的組件,並理解這些組件如何相互作用。

白話說明

你有沒有想過,模型為什麼會在某一層突然認出「這是貓」?

你可以把機制性可解釋性想成,不只看模型輸出對不對,還要往內部拆出它到底靠哪個神經元、哪條路徑做出判斷。

它重要在於,當模型變得很大又很複雜時,只看結果不夠,你得知道它是怎麼想的。

記住這句

不是只問答對沒,而是追它怎麼答對。

比喻:機制性可解釋性就像拆解一個精密手錶 -- 不只是看它會報時,而是要理解每個齒輪、彈簧是怎麼協同運作,精確地知道為什麼它會走,而不是只看指針動了。

容易混淆

機制性可解釋性 vs 事後解釋

機制性可解釋性:直接研究模型內部機制和電路。

事後解釋:在模型外面做說明,例如特徵重要度。

最關鍵的區別:前者在拆內部結構,後者在做外部說明。

機制性可解釋性 vs 黑箱模型

機制性可解釋性:想把黑箱打開,找出可追蹤的因果路徑。

黑箱模型:只看輸入輸出,不追內部原因。

最關鍵的區別:一個要看懂裡面,一個接受看不懂。

實際案例

研究注意力頭的功能

研究者發現某些注意力頭專門處理括號配對或語法關係,這不是看分數而已,而是在找模型內部的分工。

找出錯誤觸發電路

如果模型在遇到某種字型就誤判,透過機制分析可以追到是哪一層、哪一組神經元被觸發。

演算法與應用

常見方法包括激活分析、探針、消融實驗和電路分析。

它關心的是因果機制,不只是相關性,所以常要反覆驗證某個組件拿掉後,輸出是否真的改變。

在大型語言模型上,這是理解能力、幻覺和安全風險的重要工具。

情境判斷

Q1(情境題): 你只要知道模型有沒有錯,不在乎內部怎麼運作,還需要做機制性可解釋性嗎?

不一定。若只是做一般報表,事後解釋可能夠用;但若要找 bug、理解風險或做安全稽核,還是需要往內部看。

Q2(情境題): 如果一個模型在不同資料集上都很準,就代表它的內部機制很好理解嗎?

不代表。高準確率不等於可解釋性,很多黑箱模型只是表現好,內部仍然很難拆。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本