模型部署 - bobo0810/Classification GitHub Wiki

推荐export.py查看完整参数

一.TorchScript

python export.py  --weights="xxx.pt"  --torch2script

• torch2script (可选)转为torchscript
• script_gpu (可选)导出GPU模型，默认CPU模型

控制台输出

****************************
TorchScript export success, saved as /xxx/mynet.torchscript

****************************
output_torch - output_script =  0.0

二. ONNX

python export.py  --weights="xxx.pt" --torch2onnx

• torch2onnx (可选)转为onnx
• dynamic (可选)batch轴设为动态

控制台输出

****************************
ONNX export success, saved as /xxx/mynet.onnx
Visualize onnx with https://github.com/lutzroeder/netron.

****************************
output_torch - output_onnx =  5.379319e-06

三. TensorRT

注意：（1）传入的onnx模型必须固定尺度 （2）TensorRT版本>=8.0

python export.py --weights="xxx.pt" --torch2onnx --onnx2trt 

• onnx2trt （可选）onnx是否转为tensorrt
• trt_fp16 (可选）保存为fp16模型

控制台输出

****************************
ONNX export success, saved as /xxx/mynet.onnx
Visualize onnx with https://github.com/lutzroeder/netron.

****************************
TensorRT export success, saved as /xxx/mynet.trt

****************************
output_torch - output_onnx =  5.379319e-06
output_torch - output_trt =  8.6221844e-05

四. OpenVINO

注意：传入的onnx模型必须固定尺度

python export.py --weights="xxx.pt" --torch2onnx --onnx2openvino 

• onnx2openvino (可选)onnx是否转为openvino

控制台输出

****************************
ONNX export success, saved as /xxx/mynet.onnx
Visualize onnx with https://github.com/lutzroeder/netron.

****************************
OpennVINO export success, saved as /xxx//mynet_openvino

****************************
output_torch - output_onnx =  4.3958426e-07
output_torch - output_openvino =  1.0170043e-06

五. MNN

python export.py --weights="xxx.pt" --torch2onnx --onnx2mnn

• onnx2mnn (可选)onnx是否转为mnn
• mnn_fp16 (可选)保存为fp16模型

控制台输出

****************************
ONNX export success, saved as /xxx/mynet.onnx
Visualize onnx with https://github.com/lutzroeder/netron.

****************************
MNN export success, saved as /xxx/mynet.mnn

****************************
output_torch - output_onnx =  2.1457672e-06
output_torch - output_mnn =  1.0728836059570312e-06