完整定義
元學習 (Meta-learning),又稱「學習如何學習」(Learning to Learn),是一種機器學習方法,旨在訓練模型能夠快速適應新的任務或環境。與傳統的機器學習方法不同,元學習不僅學習如何執行單一任務,更學習如何學習,從而能夠在面對新的任務時,僅需少量樣本即可達到良好的效能。
白話說明
你有沒有想過,模型能不能學會「怎麼學」?
你可以把元學習想成,讓模型先在很多任務上練習,再把這種學習能力帶到新任務。
它重要在於,當新任務資料很少時,模型不必從零開始摸索。
記住這句
先學會怎麼適應新任務,再去面對新題目。
比喻:元學習就像一個學霸 -- 他不是只會解一道題,而是學會了「如何學習」,所以無論遇到什麼新題型,他都能快速掌握解題方法,用很少的練習就能取得好成績。
容易混淆
元學習 vs 遷移學習
元學習:學的是快速適應新任務的能力。
遷移學習:把舊任務學到的知識搬到新任務。
最關鍵的區別:前者學「學習方法」,後者搬「既有知識」。
元學習 vs 少樣本學習
元學習:是一種訓練策略。
少樣本學習:是一種低資料場景。
最關鍵的區別:前者是方法,後者是情境。
實際案例
新產品文案分類
公司每次上新品牌都只給少量標註,元學習可以先從很多舊品牌任務中練出快速適應能力。
個人化醫療
不同病人資料很少且差異大時,模型先學到跨任務的適應方式,比每次都從頭訓練更有效。
演算法與應用
常見形式有模型式、度量式和優化式元學習。
訓練時會刻意把很多小任務當作訓練單位,讓模型在任務間反覆練習。
它和 few-shot learning、fine-tuning 常常一起出現。
中英對照與常見說法
要注意「元學習」在教育心理學裡另有一個意思(指學習者對自己學習過程的覺察),跟機器學習的元學習是不同領域的同名詞。
- 說法
- 元學習
- 出現場合
- 台灣與中國大陸通用的正式譯名
- 說法
- 元学习
- 出現場合
- 簡體寫法,簡體資料裡的標準用語
- 說法
- Meta-Learning
- 出現場合
- 英文原名
- 說法
- Learning to Learn(學會學習)
- 出現場合
- 早期論文常用的說法,意思相同
- 說法
- 後設學習
- 出現場合
- 台灣少數教育領域文獻的譯法
一般學習與元學習差在哪
一句話的區別:一般學習問「這張圖是不是貓」,元學習問「怎麼樣才能只看三張圖就學會認一種新動物」。
- 訓練單位
- 一般機器學習
- 一筆一筆資料
- 元學習
- 一個一個任務
- 學到的東西
- 一般機器學習
- 這個任務的參數
- 元學習
- 快速適應新任務的能力
- 面對新任務
- 一般機器學習
- 從頭訓練
- 元學習
- 用少量樣本微調幾步就上手
- 常見場景
- 一般機器學習
- 資料充足
- 元學習
- 每個任務只有幾筆標註
三大流派
基於最佳化(optimization-based):代表是 MAML(Model-Agnostic Meta-Learning)。它學的是一組初始參數,這組參數的特性是「往任何新任務走幾步梯度就能表現不錯」。優點是跟模型架構無關,缺點是要算二階梯度,計算量大。
基於度量(metric-based):代表是原型網路(Prototypical Networks)與孿生網路(Siamese Networks)。它學的是一個嵌入空間,在這個空間裡同類的東西靠得近。新任務來的時候不用訓練,直接算距離就分類。優點是快,缺點是只適合分類這類能用距離表達的任務。
基於模型(model-based):用帶記憶的網路結構(例如記憶增強神經網路)把過去看過的樣本存起來,靠讀取記憶快速適應。彈性最大,但也最難訓練穩定。
大型語言模型的上下文學習(in-context learning)常被視為第三類的一種自然浮現形式:把幾個範例放進提示,模型不更新參數就能做新任務,行為上接近元學習的目標。
情境判斷
Q1(情境題): 如果新任務資料很多,元學習還值得做嗎?
可能沒那麼必要。資料充足時,直接訓練或微調常常更簡單。
Q2(情境題): 如果每個新任務都很像,只是資料很少,元學習有幫助嗎?
很有幫助。因為它就是為了讓模型在相似任務之間快速適應。
常見問題
不是。微調是把預訓練模型調到單一任務,元學習則是在訓練階段就設計成能快速適應。
不一定。只有在新任務少樣本、任務分布相近時,它才特別有優勢。
元學習重點是快速適應新任務,終身學習重點是持續學新知識又不要忘舊知識。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把元學習列為延伸術語。
相關術語
- 遷移學習Transfer Learning先對照知識搬移,才看得懂元學習的差異。
- 少樣本學習Few-shot Learning元學習最常用來解這個問題。
- 微調Fine-tuning實作上經常是元學習的落地手段。
- 機器學習Machine Learning元學習是機器學習裡更進一步的訓練思路。
- 持續學習Continual Learning
- 貝氏最佳化Bayesian Optimization
- 超參數調校Hyperparameter Tuning
本頁內容有提到,或屬於同一組主題的術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本