AITerms 登入
iPAS 中級 AI倫理與治理模型評估AI基礎

可解釋人工智慧(Explainable AI)是什麼?

可解釋 AI 透過視覺化或簡化模型,讓複雜的黑箱模型預測決策過程能被人類理解、信任與稽核。

同主題的術語模型評估AI基礎

完整定義

可解釋人工智慧(Explainable AI, XAI)是一個新興的人工智慧領域,旨在開發方法和技術,使 AI 模型的決策過程對人類而言更加透明、可理解和可解釋。隨著深度學習等複雜「黑箱」模型在關鍵應用中日益普及,理解模型為何做出特定預測變得至關重要,尤其是在醫療、金融和法律等高風險領域。XAI 的目標是提供洞察力,解釋模型的內部機制、輸入特徵對輸出的影響,以及模型決策的理由。這有助於提高使用者對 AI 系統的信任度、確保公平性、發現模型偏見、進行錯誤分析並滿足監管要求,從而促進 AI 的負責任發展和應用。

白話說明

AI 給你一個結果時,你是不是也想知道它為什麼這樣判斷?

你可以把可解釋人工智慧想成,幫黑箱模型補上一層人看得懂的理由。

它其實就是用視覺化、特徵重要性、局部近似或規則化的方法,讓人能理解模型為什麼做出這個決策。

記住這句

看懂模型理由,才知道能不能信它。

比喻:可解釋 AI 就像給一個魔術師的表演配上「解說員」 -- 以前你只知道 AI 做出一個決策,但不知道為什麼;現在有了它,就像解說員會告訴你魔術師是怎麼變出這個結果的,讓你理解其背後邏輯。

容易混淆

可解釋 AI vs 黑箱模型

黑箱模型只給結果,不說原因,可解釋 AI 則盡量把理由攤開。

可解釋 AI vs 公平性

可解釋 AI 是看懂模型怎麼想,公平性是看模型有沒有系統性偏見,兩者相關但不相同。

可解釋性 vs 可視化

可視化只是表現形式之一,可解釋性還包括規則、反事實和局部代理模型。

最關鍵的區別: 你想知道的是「它怎麼判斷」,還是「它有沒有偏袒某些人」。

實際案例

案例一:貸款審核

系統拒絕你的申請時,如果能指出是收入、負債比還是信用紀錄影響最大,使用者和審核人員都比較能接受。

案例二:醫療影像輔助

模型說某張 X 光片有異常時,若能標出可疑區域和關鍵特徵,醫師就能更快判斷是不是要進一步檢查。

深入了解

常見方法包括 LIME、SHAP、特徵重要性、注意力可視化和反事實解釋。LIME 會在單一案例附近建立局部近似模型,SHAP 會用貢獻分配的方式說明每個特徵影響了多少。可解釋 AI 的重點不是把模型變簡單,而是讓複雜模型的決策能被檢查、質疑和修正。

中英對照與常見說法

可解釋性(interpretability)與可說明性(explainability) 常被混用,比較嚴謹的區分是:可解釋性指模型本身結構透明、人直接看得懂(線性迴歸、淺決策樹);可說明性指模型是黑箱,但事後可以產生說明(SHAP、LIME、Grad-CAM)。

說法
可解釋人工智慧、可解釋 AI
出現場合
台灣正式用語
說法
可解释人工智能
出現場合
簡體寫法
說法
Explainable AI
出現場合
英文原名
說法
XAI
出現場合
標準縮寫
說法
可解釋性(interpretability)
出現場合
相近但不完全相同的詞

兩條路線

一個常被忽略的建議:在高風險場景先試本質可解釋模型。表格資料上,一個調好的廣義加性模型或淺樹的表現常常跟複雜模型只差一點點,但省下所有解釋方法的不確定性。「複雜模型一定比較準」在結構化資料上經常不成立。

做法
本質可解釋模型
一開始就選看得懂的模型
事後說明方法
用複雜模型,再另外產生說明
代表
本質可解釋模型
線性迴歸、邏輯斯迴歸、決策樹、廣義加性模型(GAM)
事後說明方法
SHAP、LIME、反事實解釋、Grad-CAM
說明的可信度
本質可解釋模型
高,說明就是模型本身
事後說明方法
中,說明是近似出來的
準確度
本質可解釋模型
通常略低
事後說明方法
通常較高

主要的事後說明方法

SHAP 基於合作賽局的 Shapley 值,把預測值分配給各個特徵。它滿足幾個好的數學性質(加總等於預測值與基準值的差、對稱性),是目前最被信賴的方法。代價是計算成本高,樹模型有快速演算法,其他模型多半只能近似。

LIME 在單一樣本附近取樣並擬合一個簡單模型當作局部說明。快,但同一個樣本重跑兩次可能得到不同說明,穩定性是它的弱點。

反事實解釋(counterfactual explanation):回答「要改變什麼,結果才會不同」。貸款被拒的時候,「年收入再多 8 萬就會過」比「收入這個特徵的貢獻是 −0.32」有用得多。對終端使用者來說這通常是最實用的一種。

部分依賴圖(PDP)與個別條件期望(ICE):看某個特徵在不同取值下對預測的整體影響。

三個必須提醒的邊界

說明不等於因果。 特徵重要度說的是模型用了什麼,不是現實世界的因果關係。拿 SHAP 值當政策依據是常見的誤用。

說明本身可能不可靠。 有些方法通不過健全性檢查:把模型權重隨機打亂之後,產生的說明幾乎沒變,代表那份說明反映的不是模型行為。

不同對象需要不同說明。 監管機關要的是流程與稽核軌跡,工程師要的是除錯線索,被決策影響的當事人要的是「我該怎麼做才會不同」。用同一份 SHAP 圖應付三種對象,等於三個都沒滿足。

情境判斷

Q1(直覺題): 你要讓業務同事知道模型為什麼拒絕某個客戶,這時候是不是該加可解釋 AI?

是,因為你需要的不只是結果,還要一個人看得懂的理由。

Q2(判斷題): 如果模型本來就很簡單,像線性回歸,還需不需要特別做可解釋 AI?

看情況。簡單模型本身就比較容易解釋,但如果你要做稽核、法遵或對外溝通,還是可能需要更明確的解釋輸出。

iPAS 考題

Q1: 可解釋人工智慧最主要的目的之一是什麼?

(A) 讓模型變得更深

(B) 讓模型決策更容易被人理解與稽核

(C) 讓訓練資料自動標註

(D) 讓損失函數自動消失

(B)。可解釋 AI 的核心就是把黑箱決策變成可理解、可檢查的資訊。

Q2: 下列哪一種方法最常被用來解釋單一預測案例?

(A) LIME

(B) K-means

(C) Batch Normalization

(D) Dropout

(A)。LIME 很常拿來做單一樣本的局部解釋。

常見問題

範例考題

在可解釋 AI(Explainable AI, XAI)的分類架構中,LIME(Local Interpretable Model-agnostic Explanations)屬於哪一類解釋技術?

  1. A內建可解釋模型(Intrinsic Interpretability):模型本身具有透明的決策結構
  2. B對話式解釋系統(Conversational AI Explainer):透過互動對話提供模型解釋
  3. C後處理模型解釋(post-hoc):對已訓練模型提供外部解釋
  4. D代理模型技術(Surrogate Model):訓練另一個簡單模型來完全取代原黑盒模型進行推論
到題目頁作答

出現在這些考古題

官方公告試題的逐題解析裡,有 7 題把可解釋人工智慧列為延伸術語,這裡列出 5 題。

立即測驗

想測試你對 可解釋人工智慧 的掌握程度?用考古題作答

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。

其他格式:Markdown 版本