完整定義
視覺語言模型是一種結合電腦視覺與自然語言處理技術的人工智慧模型。它能夠理解並生成圖像和文字之間的關聯,用於圖像描述生成、視覺問答、跨模態檢索等任務。常見應用包括圖像字幕生成、根據文字描述生成圖像、以及在圖像中尋找特定物體。
白話說明
你有沒有看過一張圖,還想直接問模型「這張圖在說什麼」?
你可以把視覺語言模型想成「同時看圖也看字,還能把兩者接起來理解」
它會把影像和文字放到同一個語意空間裡,再做比對、問答或描述生成
這讓它能做圖像說明、視覺問答和跨模態搜尋
記住這句
看圖和看字要對齊,模型才知道它們在說同一件事。
比喻:視覺語言模型就像一個既會看圖又會寫文章的說書人 -- 它能看懂圖片內容,然後用文字描述出來,或是根據文字提問來理解圖片,實現圖像和文字的無縫溝通。
容易混淆
視覺語言模型 vs 圖像模型
圖像模型只看圖
視覺語言模型同時看圖和字
最關鍵的區別:有沒有跨模態
視覺語言模型 vs 語言模型
語言模型主要看文字
視覺語言模型也看圖像
最關鍵的區別:輸入模態不一樣
視覺語言模型 vs 多模態學習
視覺語言模型是具體模型
多模態學習是更大的研究方向
最關鍵的區別:模型和研究範圍
實際案例
商品搜尋
你上傳一張鞋子照片,模型能找出相似款,因為它同時理解圖像特徵和文字描述
圖片問答
你問「這張桌上有幾個杯子」,模型先看圖再回答,這比純文字模型更適合
演算法與應用
| 特徵對齊 | 讓圖像和文字進同一空間 | 這是核心 |
| 圖像描述 | 看圖後生成文字 | 常見應用 |
| 視覺問答 | 根據圖片回答問題 | 需要跨模態推理 |
| 跨模態搜尋 | 用文字找圖、用圖找文字 | 很實用 |
VLM 的三個零件
視覺語言模型(Vision-Language Model, VLM)要能同時看圖與讀字,架構上通常由三塊組成。
視覺編碼器。 把影像轉成一串向量。多數採用預訓練好的 ViT,常見的是 CLIP 的視覺塔,因為它已經跟文字對齊過。
連接器(projector / adapter)。 把視覺向量投影到語言模型的嵌入空間。這一塊可以簡單到只是一個線性層或兩層 MLP,也可以複雜到用一組可學習的查詢向量去萃取視覺資訊(Q-Former 那一路)。
語言模型。 接收「文字 token 加上投影後的視覺 token」,照常往下生成。
訓練通常分兩階段:先凍住視覺編碼器與語言模型,只訓練連接器讓兩邊對齊;再解凍部分權重做指令微調,讓它學會依照指示回答關於圖片的問題。這個順序能大幅節省運算,也避免破壞語言模型原有的能力。
VLM 跟多模態 AI 是什麼關係
多模態 AI 是總稱,涵蓋任何處理兩種以上模態的系統。VLM 特指「視覺加語言」這一組,是多模態裡最成熟、應用最廣的一支。
常見的能力包括:看圖回答問題、描述圖片內容、讀取文件與表格、看懂圖表、辨識介面元素並操作、從截圖寫出程式碼。
用 VLM 之前要知道的限制
精細的文字辨識仍不完全可靠。 大字清楚的截圖沒問題,但小字、手寫、低解析度、密集表格容易出錯。需要高準確度的文件處理,實務上仍常搭配傳統 OCR 一起用,讓 OCR 負責取字、VLM 負責理解。
空間關係與計數不穩。 「左邊第三個」「總共有幾個」這類問題錯誤率明顯較高,因為視覺 token 化的過程會損失精確的空間資訊。
解析度是硬限制。 多數 VLM 把影像縮到固定尺寸,細節直接消失。處理高解析度圖片時要自己切塊再分別送,或選用支援動態解析度的模型。
會產生幻覺,而且圖片上的幻覺更難察覺。 模型可能描述出圖片裡根本沒有的物體。需要可靠性的場合要設計驗證步驟,例如要求模型指出依據在圖片的哪個位置。
情境判斷
Q1(直覺題):你要讓系統看圖回答問題,這類模型適合嗎?
適合,這就是視覺語言模型最典型的應用。
Q2(判斷題):你只有文字資料,還一定要用視覺語言模型嗎?
不一定,純文字任務通常用語言模型就夠了。
常見問題
不完全一樣,CLIP 是其中一種很重要的基礎模型。
有些變體可以,但影片還牽涉時間資訊,難度更高。
因為圖像和文字被映射到相近的語意向量空間。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本