完整定義
ONNX (Open Neural Network Exchange) 是一種開放標準,用於表示機器學習模型。它能夠讓模型在不同的深度學習框架之間進行轉換和互操作,簡化模型部署流程,提高模型的可移植性。常見應用包括在不同硬體平台和雲端服務上部署模型。
白話說明
你訓練好的模型,會不會到了別的框架或裝置就搬不動?
你可以把 開放神經網路交換 想成 把模型包成跨框架可搬運的格式。
訓練和部署常常不是同一個環境,把模型包成通用格式,才好跨框架部署 這件事就特別重要。
記住這句
把模型包成通用格式,才好跨框架部署
比喻:ONNX 就像機器學習模型的「通用語言」或「轉接頭」 -- 你的模型可能是在 TensorFlow 訓練的,但部署時想用 PyTorch 或 Caffe2,ONNX 就是那個讓它們能互相溝通、順暢轉換的橋樑。
容易混淆
開放神經網路交換 vs 特定框架模型(如 TensorFlow 模型)
特定框架模型像只會說一種方言的人,只能在自家地盤交流;ONNX 像會說英文的人,走到哪都能溝通,讓模型部署更有彈性。
最關鍵的區別:一個是模型交換格式,一個是訓練框架本體。
開放神經網路交換 vs 原生框架模型
ONNX 是通用交換格式,原生框架模型通常只能在自己的生態裡跑得最順
最關鍵的區別:格式是不是能跨框架、跨 runtime。
實際案例
案例 1:PyTorch 訓練完,轉成 ONNX 再丟到邊緣裝置推論
案例 2:同一個模型要在 CPU、GPU 和不同 runtime 間切換
演算法與應用
核心意思就是:把模型包成通用格式,才好跨框架部署。
重點是把計算圖和權重保存成通用表示,再交給不同 runtime 執行
部署時常會再配合量化、剪枝或硬體加速
情境判斷
Q2(判斷題): 同一個模型要在 CPU、GPU 和邊緣裝置間切換,還合適嗎?
看情況,ONNX 就常是這種跨平台部署的中介層
常見問題
使用 ONNX 的主要目的是解決不同機器學習框架之間的互操作性問題。 在沒有 ONNX 的情況下,如果想將在 TensorFlow 中訓練的模型部署到 PyTorch 環境中,或者利用 TensorRT 等硬體加速器進行加速,需要進行繁瑣的模型轉換和優化。 ONNX 提供了一種通用的模型表示格式,使得模型可以在不同框架和硬體平台之間無縫遷移,簡化了模型部署流程,提高了開發效率。
ONNX Runtime 是一個跨平台的推論引擎,用於高效地執行 ONNX 模型。 ONNX 定義了模型的表示格式,而 ONNX Runtime 則負責解析和執行這些模型。 可以將 ONNX 視為模型的“藍圖”,而 ONNX Runtime 則是“施工隊”,負責根據藍圖建造模型。 ONNX Runtime 支持多種硬體平台,包括 CPU、GPU 和加速器,可以根據不同的硬體環境進行優化,提供高性能的推論服務。
TensorFlow 和 PyTorch 都提供了 ONNX 導出器,可以將模型轉換為 ONNX 格式。
對於 TensorFlow,可以使用 tf.saved_model.load 加載模型,然後使用 tf.compat.v1.graph_util.convert_variables_to_constants 將變量轉換為常量,最後使用 tf.graph_util.extract_sub_graph 提取子圖,並使用 tf.io.write_graph 將圖寫入 ONNX 文件。
對於 PyTorch,可以使用 torch.onnx.export 函數將模型導出為 ONNX 格式。
需要注意的是,在導出 ONNX 模型時,需要指定模型的輸入形狀和數據類型。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本