完整定義
神經架構搜尋 (NAS) 是一種自動化機器學習 (AutoML) 的子領域,專注於自動設計神經網路架構。傳統上,神經網路架構的設計需要大量的專業知識和手動調整。NAS 旨在通過演算法自動探索和評估不同的網路結構,從而找到在特定任務上表現最佳的模型,減少對人工設計的依賴。
白話說明
你有沒有想過,神經網路的結構能不能也交給機器自己找?
你可以把它想成讓系統自己試很多種網路骨架,再從中挑出表現最好的設計。
神經架構搜尋是在搜尋空間裡找模型結構,不是只調參數而已。 這種寫法常用在需要先把問題定義清楚,再逐步提升模型品質的場景。
記住這句
不是只調數值,是連骨架都一起找。
比喻:神經架構搜尋就像一個 AI 自己的 AI 設計師 -- 它不再需要人類工程師辛苦地一層層堆疊、試驗神經網路的結構,而是自己動手,像玩樂高一樣,自動組裝、測試各種架構,直到找到表現最好的那個。
容易混淆
神經架構搜尋 vs 超參數調校
神經架構搜尋:找網路結構
超參數調校:找學習率、批次大小等設定
神經架構搜尋 vs 手工設計
神經架構搜尋:用搜尋機制自動嘗試
手工設計:靠工程師經驗與直覺
實際案例
影像模型
自動找出更省參數、準確率也夠高的卷積結構。
手機端部署
在算力有限的情況下,搜尋更小更快的模型架構。
演算法與應用
NAS 的關鍵是搜尋空間設計,空間太大會算不動,太小又找不到好結構。
常見方法有強化學習、進化演算法、貝氏最佳化、和梯度式方法。
它的代價通常很高,所以才需要更有效率的搜尋策略。
情境判斷
Q1(直覺題):你只想調學習率,不想換模型結構,該做什麼?
超參數調校,不是神經架構搜尋。
Q2(判斷題):如果搜尋空間太大,結果一直算不完,問題通常在哪?
搜尋成本太高,空間設計需要縮小或分層。
常見問題
不一定,搜尋成本和資料條件都會影響結果。
通常很耗,這也是它最大的門檻。
NAS 是 AutoML 裡專門負責架構設計的一塊。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本