AITerms 登入
機器學習深度學習電腦視覺

視覺問答(Visual Question Answering)是什麼?

視覺問答(VQA)是一種人工智慧任務,要求模型根據給定的圖像回答自然語言問題,結合了電腦視覺和自然語言處理。

完整定義

視覺問答(VQA)是一種人工智慧任務,旨在讓機器能夠理解圖像的內容,並根據自然語言提出的問題給出答案。VQA 結合了電腦視覺和自然語言處理技術,要求模型能夠解析圖像中的物件、關係和場景,並理解問題的語義,最終生成正確的答案。常見應用包括圖像檢索、輔助視覺障礙人士和教育。

白話說明

你有沒有看過一張圖,還想直接問「這裡面是什麼」?

你可以把視覺問答想成「看著圖片回答文字問題」

模型不只要看懂圖,還要把問題和圖像線索對起來

這比單純圖像分類更進一步,因為答案常需要推理

記住這句

先看圖,再抓問題關鍵字,最後把兩邊接起來回答。

比喻:視覺問答就像一個聰明的導遊 -- 你指著一張照片問「這上面有幾個人?」,它能看懂照片內容,並且用流利的中文回答你,完美結合看圖和對話的能力。

容易混淆

視覺問答 vs 圖像分類

視覺問答要回答問題

圖像分類只給一個類別標籤

最關鍵的區別:有沒有問題要回答

視覺問答 vs 圖像描述

視覺問答是針對提問作答

圖像描述是整體描述圖片

最關鍵的區別:定向回答和整體敘述

視覺問答 vs 視覺語言模型

視覺問答是任務

視覺語言模型是常見底層模型

最關鍵的區別:任務和模型

實際案例

購物客服

使用者上傳商品照片再問尺寸或顏色,系統可直接回覆,減少人工處理

教材理解

學生看到圖表後問「哪一段最高」,模型要從圖像讀出對應位置再答題

演算法與應用

圖像特徵先看圖片內容是回答的基礎
問題理解抓出問題在問什麼關鍵詞很重要
注意力對齊把問題和圖像區域連起來常是性能關鍵
答案生成輸出簡短或句子型答案常比分類更彈性

中英對照與常見說法

說法
視覺問答
出現場合
台灣與中國大陸通用譯名
說法
视觉问答
出現場合
簡體寫法
說法
Visual Question Answering
出現場合
英文原名
說法
VQA
出現場合
標準縮寫
說法
圖像問答
出現場合
口語變體,意思相同

一個 VQA 系統要做哪三件事

第一,看懂圖。 用視覺編碼器把影像轉成特徵。早期用 CNN 加上物件偵測抽出區域特徵,現在多半用視覺 Transformer(ViT)直接切成影像區塊編碼。

第二,看懂問題。 用語言模型把問題轉成向量表示。

第三,把兩邊對起來並回答。 這一步是 VQA 的核心難點,叫做跨模態融合。做法從早期的簡單相乘、注意力機制,演進到現在把影像特徵直接投影成語言模型看得懂的 token,交給大型語言模型生成答案。

回答形式有兩種設計。分類式把答案限定在一個固定的候選集合(例如最常見的三千個答案),問題變成多選一,準確率好算但答不出集合外的東西。生成式直接產生文字,彈性大但評估困難,因為「兩個人」與「2 人」語意相同卻字串不同。

這個任務為什麼難

語言先驗偏誤(language prior bias) 是 VQA 最著名的問題。模型可以完全不看圖,只靠問題的統計規律就答對相當比例的題目:問「香蕉是什麼顏色」答黃色、問「有幾隻」答二,正確率就不低。這代表高分不等於真的看懂圖。VQA-CP 這類資料集就是刻意把訓練集與測試集的答案分布錯開,用來揭穿這種取巧。

需要圖片以外的知識。「這個標誌代表可以停車嗎」需要交通規則知識,光看圖看不出來。這類題目催生了知識型 VQA(Knowledge-based VQA)的研究方向。

計數與空間關係一直是弱項。數超過五個物件、判斷「左邊數來第三個」,即使是現在的多模態大模型也常出錯。

實際用在哪

視障輔助(拍照問前面是什麼)、電商(問商品圖的細節)、醫療影像初步問答、工業檢測(問這張照片有沒有缺件)、教育與文件理解(問圖表上的數字)。

情境判斷

Q1(直覺題):你問模型「這張圖裡有幾個人」,這屬於 VQA 嗎?

是,因為它要根據圖片回答文字問題。

Q2(判斷題):如果題目只要模型寫出圖片內容摘要,還算同一類嗎?

比較接近圖像描述,不完全是 VQA。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本