完整定義
多任務學習 (Multi-task Learning, MTL) 是一種機器學習方法,其目標是同時訓練一個模型來執行多個相關的任務。透過共享任務之間的知識,MTL 可以提升模型的泛化能力,減少對單一任務的過擬合,並加速學習過程。這種方法特別適用於任務之間存在共享特徵或結構的情況。
白話說明
你有沒有想過,一個模型能不能同時學會幾件相關的事?
你可以把它想成同一個學生一起學作文、閱讀、和摘要,讓不同任務互相幫忙。
當任務彼此有關時,共用表示通常能省資料、提泛化,也能讓模型學到更通用的特徵。
記住這句
相關任務一起學,常比單獨學更省力。
比喻:多任務學習就像一個學霸,同時學習好幾門相關的科目 -- 學習語文時,對理解歷史也有幫助;學習數學時,對物理也有幫助,這樣能讓他在各方面都表現得更好。
容易混淆
多任務學習 vs 遷移學習
多任務學習:同一時間學多個任務
遷移學習:先學一個,再拿去學另一個
多任務學習 vs 多模型
多任務學習:一個模型共享底層表示
多模型:每個任務各自訓練,資源更分散
實際案例
客服 NLP
同一套模型同時做意圖辨識、情緒判斷、和關鍵資訊抽取,整體流程更快。
醫療文書
一個模型同時判斷疾病分類與症狀抽取,因為兩個任務都在看同一份病歷。
演算法與應用
多任務學習最怕負遷移,任務不相干時,共享參數反而會互相干擾。
常見做法有硬共享、軟共享、和任務專屬頭。
好的設計會讓主幹學共通表示,尾端保留每個任務自己的細節。
中英對照與常見說法
- 說法
- 多任務學習
- 出現場合
- 中文正式用語
- 說法
- 多任务学习
- 出現場合
- 簡體寫法
- 說法
- Multi-Task Learning
- 出現場合
- 英文原名
- 說法
- MTL
- 出現場合
- 標準縮寫
- 說法
- 多目標學習
- 出現場合
- 常見混用,但嚴格說多目標最佳化是另一個領域的詞
兩種參數共享方式
硬共享是預設做法,因為它最省參數也最容易實作。任務之間關聯不強的時候才考慮軟共享,或改用專家混合(Mixture-of-Experts)這類讓不同任務走不同路徑的架構。
- 結構
- 硬共享(hard sharing)
- 底層完全共用,每個任務只有自己的輸出頭
- 軟共享(soft sharing)
- 每個任務有自己的完整網路,用正則化項拉近彼此參數
- 參數量
- 硬共享(hard sharing)
- 少
- 軟共享(soft sharing)
- 多
- 過度擬合風險
- 硬共享(hard sharing)
- 低,共享層被多個任務約束
- 軟共享(soft sharing)
- 較高
- 任務衝突時
- 硬共享(hard sharing)
- 影響大,會互相拉扯
- 軟共享(soft sharing)
- 影響小,各自保有彈性
為什麼有時候會變差
多任務學習的賣點是「任務之間互相幫忙」,但實際上經常出現負遷移(negative transfer),也就是一起學反而比各自學差。
主因一,梯度衝突。 兩個任務對同一組共享參數要求相反的更新方向,合起來互相抵銷。PCGrad 這類方法就是在偵測到梯度夾角為負時,把其中一個投影掉。
主因二,損失尺度差太多。 一個任務的損失是 0.001 量級,另一個是 10 量級,直接相加等於只在訓練後者。常見對策是手動加權、用不確定性自動加權(Kendall 等人的方法),或用 GradNorm 讓各任務的梯度大小維持平衡。
主因三,資料量嚴重不平衡。 樣本多的任務主導了共享層。對策是調整取樣比例,或對小任務的損失加權。
判斷值不值得做多任務的實用準則:先各自單獨訓練當基準線。多任務版本至少要在主要任務上不輸單任務版本,才算成功。純粹為了省一個模型而犧牲主任務精度,通常不划算。
什麼場景真的適合
任務彼此相關且共用同一批輸入時效果最好,例如自駕感知(同一張影像同時做偵測、分割、深度估計)、推薦系統(同時預測點擊率與轉換率)、語音(同時做辨識與語者識別)。
一個常被忽略的好處是推論成本。三個任務一個模型跑一次,比三個模型跑三次省,這在邊緣裝置上往往才是採用多任務的真正理由。
情境判斷
Q1(直覺題):你有分類、抽取、摘要三個任務,而且資料彼此相關,最像什麼策略?
多任務學習,因為共享表示能互相幫忙。
Q2(判斷題):如果其中一個任務非常奇怪,和其他任務差很多,還硬放一起學,風險是什麼?
可能出現負遷移,讓本來簡單的任務也變差。
常見問題
不一定,任務相關才有機會互利。
也不是,共享太多會讓任務細節被沖淡。
不一樣,集成是多個模型投票,多任務是單一模型一起學。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把多任務學習列為延伸術語。
相關術語
- 遷移學習Transfer Learning想看任務之間如何把能力轉過去,這是下一步。
- 微調Fine-tuning多任務學習之後常接著做任務專屬微調。
- 元學習Meta-learning都在想怎麼讓模型更會學。
- 少樣本學習Few-shot Learning資料少時,多任務學習的共享表示很有幫助。
- 持續學習Continual Learning任務不是一次到位時,這個概念常一起出現。
本頁內容有提到,或屬於同一組主題的術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本