AITerms 登入
機器學習深度學習電腦視覺

多模態學習(Multimodal Learning)是什麼?

多模態學習是一種機器學習方法,旨在從多種不同類型(模態)的資料中學習,例如圖像、文字和音訊,以提升模型效能。

完整定義

多模態學習是一種機器學習方法,用於整合和分析來自多種不同模態的資料,例如圖像、文字、音訊和影片。它能夠讓模型理解不同模態之間的關聯性,從而提升模型在各種任務中的效能,常見應用包括圖像描述、影片理解和跨模態檢索。

白話說明

你有沒有發現,單看文字或單看圖片,有時根本看不完整?

你可以把它想成同時聽老師講、看投影片、再看手寫筆記,三種資訊一起學。

多模態學習關心的是怎麼把不同模態對齊、融合、再一起訓練,讓模型學得更完整。

記住這句

多種資料一起學,重點是怎麼對齊。

比喻:多模態學習就像一個全能偵探 -- 它不只看監視器畫面,還會聽對話錄音、讀筆記,綜合所有線索來拼湊出更完整、更準確的真相,比單看一種線索厲害多了。

容易混淆

多模態學習 vs 多模態 AI

多模態學習:訓練方法

多模態 AI:應用能力與整體系統

多模態學習 vs 單模態學習

多模態學習:同時用多種資料

單模態學習:只用一種資料來源

實際案例

商品分類

照片、標題、規格一起訓練,模型更容易分出同系列商品。

醫療診斷

影像、報告、檢驗數值一起看,模型較能抓到單一模態看不到的線索。

演算法與應用

常見做法有早期融合、晚期融合、和中間融合。

模態差異越大,越需要處理缺失模態、時間對齊、和權重分配。

它的價值不只在資料變多,而是資訊互補。

情境判斷

Q1(直覺題):你要把圖片與文字一起送進模型做分類,這比較像什麼?

多模態學習,因為訓練時就把不同模態一起用。

Q2(判斷題):如果圖片很完整,但文字描述常缺字,融合時該怎麼想?

要看情況,缺模態可以補值或降權,重點是別把不可靠模態硬當真。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把多模態學習列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本