完整定義
可解釋人工智慧(Explainable AI, XAI)是一個新興的人工智慧領域,旨在開發方法和技術,使 AI 模型的決策過程對人類而言更加透明、可理解和可解釋。隨著深度學習等複雜「黑箱」模型在關鍵應用中日益普及,理解模型為何做出特定預測變得至關重要,尤其是在醫療、金融和法律等高風險領域。XAI 的目標是提供洞察力,解釋模型的內部機制、輸入特徵對輸出的影響,以及模型決策的理由。這有助於提高使用者對 AI 系統的信任度、確保公平性、發現模型偏見、進行錯誤分析並滿足監管要求,從而促進 AI 的負責任發展和應用。
白話說明
AI 給你一個結果時,你是不是也想知道它為什麼這樣判斷?
你可以把可解釋人工智慧想成,幫黑箱模型補上一層人看得懂的理由。
它其實就是用視覺化、特徵重要性、局部近似或規則化的方法,讓人能理解模型為什麼做出這個決策。
記住這句
看懂模型理由,才知道能不能信它。
比喻:可解釋 AI 就像給一個魔術師的表演配上「解說員」 -- 以前你只知道 AI 做出一個決策,但不知道為什麼;現在有了它,就像解說員會告訴你魔術師是怎麼變出這個結果的,讓你理解其背後邏輯。
容易混淆
可解釋 AI vs 黑箱模型
黑箱模型只給結果,不說原因,可解釋 AI 則盡量把理由攤開。
可解釋 AI vs 公平性
可解釋 AI 是看懂模型怎麼想,公平性是看模型有沒有系統性偏見,兩者相關但不相同。
可解釋性 vs 可視化
可視化只是表現形式之一,可解釋性還包括規則、反事實和局部代理模型。
最關鍵的區別: 你想知道的是「它怎麼判斷」,還是「它有沒有偏袒某些人」。
實際案例
案例一:貸款審核
系統拒絕你的申請時,如果能指出是收入、負債比還是信用紀錄影響最大,使用者和審核人員都比較能接受。
案例二:醫療影像輔助
模型說某張 X 光片有異常時,若能標出可疑區域和關鍵特徵,醫師就能更快判斷是不是要進一步檢查。
深入了解
常見方法包括 LIME、SHAP、特徵重要性、注意力可視化和反事實解釋。LIME 會在單一案例附近建立局部近似模型,SHAP 會用貢獻分配的方式說明每個特徵影響了多少。可解釋 AI 的重點不是把模型變簡單,而是讓複雜模型的決策能被檢查、質疑和修正。
中英對照與常見說法
可解釋性(interpretability)與可說明性(explainability) 常被混用,比較嚴謹的區分是:可解釋性指模型本身結構透明、人直接看得懂(線性迴歸、淺決策樹);可說明性指模型是黑箱,但事後可以產生說明(SHAP、LIME、Grad-CAM)。
- 說法
- 可解釋人工智慧、可解釋 AI
- 出現場合
- 台灣正式用語
- 說法
- 可解释人工智能
- 出現場合
- 簡體寫法
- 說法
- Explainable AI
- 出現場合
- 英文原名
- 說法
- XAI
- 出現場合
- 標準縮寫
- 說法
- 可解釋性(interpretability)
- 出現場合
- 相近但不完全相同的詞
兩條路線
一個常被忽略的建議:在高風險場景先試本質可解釋模型。表格資料上,一個調好的廣義加性模型或淺樹的表現常常跟複雜模型只差一點點,但省下所有解釋方法的不確定性。「複雜模型一定比較準」在結構化資料上經常不成立。
- 做法
- 本質可解釋模型
- 一開始就選看得懂的模型
- 事後說明方法
- 用複雜模型,再另外產生說明
- 代表
- 本質可解釋模型
- 線性迴歸、邏輯斯迴歸、決策樹、廣義加性模型(GAM)
- 事後說明方法
- SHAP、LIME、反事實解釋、Grad-CAM
- 說明的可信度
- 本質可解釋模型
- 高,說明就是模型本身
- 事後說明方法
- 中,說明是近似出來的
- 準確度
- 本質可解釋模型
- 通常略低
- 事後說明方法
- 通常較高
主要的事後說明方法
SHAP 基於合作賽局的 Shapley 值,把預測值分配給各個特徵。它滿足幾個好的數學性質(加總等於預測值與基準值的差、對稱性),是目前最被信賴的方法。代價是計算成本高,樹模型有快速演算法,其他模型多半只能近似。
LIME 在單一樣本附近取樣並擬合一個簡單模型當作局部說明。快,但同一個樣本重跑兩次可能得到不同說明,穩定性是它的弱點。
反事實解釋(counterfactual explanation):回答「要改變什麼,結果才會不同」。貸款被拒的時候,「年收入再多 8 萬就會過」比「收入這個特徵的貢獻是 −0.32」有用得多。對終端使用者來說這通常是最實用的一種。
部分依賴圖(PDP)與個別條件期望(ICE):看某個特徵在不同取值下對預測的整體影響。
三個必須提醒的邊界
說明不等於因果。 特徵重要度說的是模型用了什麼,不是現實世界的因果關係。拿 SHAP 值當政策依據是常見的誤用。
說明本身可能不可靠。 有些方法通不過健全性檢查:把模型權重隨機打亂之後,產生的說明幾乎沒變,代表那份說明反映的不是模型行為。
不同對象需要不同說明。 監管機關要的是流程與稽核軌跡,工程師要的是除錯線索,被決策影響的當事人要的是「我該怎麼做才會不同」。用同一份 SHAP 圖應付三種對象,等於三個都沒滿足。
情境判斷
Q1(直覺題): 你要讓業務同事知道模型為什麼拒絕某個客戶,這時候是不是該加可解釋 AI?
是,因為你需要的不只是結果,還要一個人看得懂的理由。
Q2(判斷題): 如果模型本來就很簡單,像線性回歸,還需不需要特別做可解釋 AI?
看情況。簡單模型本身就比較容易解釋,但如果你要做稽核、法遵或對外溝通,還是可能需要更明確的解釋輸出。
iPAS 考題
Q1: 可解釋人工智慧最主要的目的之一是什麼?
(A) 讓模型變得更深
(B) 讓模型決策更容易被人理解與稽核
(C) 讓訓練資料自動標註
(D) 讓損失函數自動消失
(B)。可解釋 AI 的核心就是把黑箱決策變成可理解、可檢查的資訊。
Q2: 下列哪一種方法最常被用來解釋單一預測案例?
(A) LIME
(B) K-means
(C) Batch Normalization
(D) Dropout
(A)。LIME 很常拿來做單一樣本的局部解釋。
常見問題
模型可解釋性偏向模型本身容易被理解,可解釋 AI 則包含一整套把黑箱結果變成人能看懂的方法。
當決策會影響金錢、健康、法律或信任時,就很值得加上解釋層。
很多人以為有了注意力熱圖就等於完成解釋,其實那只是其中一種訊號,不能單獨當成完整答案。
主要是讓人看懂 AI 為什麼做出某個判斷,例如哪些特徵影響最大、改變哪個條件結果就會不同。這能幫助使用者判斷能不能信任結果,讓開發者找出錯誤與偏見,也方便向主管機關或受影響的人說明決策依據。
LIME 在單一預測附近學一個簡單、好解釋的局部模型,SHAP 以 Shapley 值為每個特徵分配對這次預測的貢獻。影像模型常用 Grad-CAM 這類顯著圖標出影響判斷的區域,另外還有反事實解釋,以及本身就好解釋的模型,例如決策樹。
常見用法是讓醫師看到模型判讀的依據,例如在醫學影像上標出影響判斷的區域,或列出拉高風險分數的檢驗數值。醫師可以據此判斷結果是否合理,發現模型是否依賴不該用的線索,例如影像上的標記文字。解釋本身也可能不準,不能取代臨床驗證。
範例考題
在可解釋 AI(Explainable AI, XAI)的分類架構中,LIME(Local Interpretable Model-agnostic Explanations)屬於哪一類解釋技術?
- A內建可解釋模型(Intrinsic Interpretability):模型本身具有透明的決策結構
- B對話式解釋系統(Conversational AI Explainer):透過互動對話提供模型解釋
- C後處理模型解釋(post-hoc):對已訓練模型提供外部解釋
- D代理模型技術(Surrogate Model):訓練另一個簡單模型來完全取代原黑盒模型進行推論
正解是 C:後處理模型解釋(post-hoc):對已訓練模型提供外部解釋
解析:LIME 是一種後處理(post-hoc)解釋技術,它不改變原始模型,而是在模型訓練完成後,透過局部近似的方式對已訓練模型的預測結果提供解釋。它與模型本身的結構無關(model-agnostic)。
出現在這些考古題
官方公告試題的逐題解析裡,有 7 題把可解釋人工智慧列為延伸術語,這裡列出 5 題。
立即測驗
想測試你對 可解釋人工智慧 的掌握程度?用考古題作答
相關術語
- 人工智慧Artificial Intelligence讀完這個再看它,可以把 XAI 放回整體 AI 脈絡
- 機器學習Machine Learning可解釋 AI 最常落地的地方
- 深度學習Deep Learning黑箱感特別重,也特別需要解釋工具
- 公平性Fairness讀完這個再看它,可以分辨「能解釋」和「沒偏見」的差別
- LIMELIME讀完這個再看它,可以理解局部解釋怎麼做
- LIMELocal Interpretable Model-agnostic Explanations
- 黑箱模型Black Box Model
- 反事實解釋Counterfactual Explanation
- 梯度加權類激活圖Grad-CAM
來源
參考來源:en.wikipedia.org
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本