模型推理使用说明

2.1. topsinference-ppyolo

模型说明

  • 该模型代码存放于inference_models/topsinference_models/ppyolo，相关文档存放于docs/model_docs/topsinference_models/ppyolo。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-COCO

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 ppyolo_mbv3_small_coco-320-op13-fp32-bs1.onnx ppyolo_mbv3_large_coco-320-op13-fp32-bs1.onnx ppyolo_tiny_650e_coco-320-op13-fp32-bs1.onnx ppyolo_r18vd_coco-512-op13-fp32-bs1.onnx ppyolo_r50vd_dcn_1x_coco-608-op13-fp32-bs1.onnx ppyolo_r50vd_dcn_2x_coco-608-op13-fp32-bs1.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame topsinference --model ppyolo --model_path ./model/ppyolo_mbv3_small_coco-320-op13-fp32-bs1.onnx --fp32_op p2o.NonMaxSuppression.0 --data_path ./data/COCO --input_width 320 --input_height 320 --draw_threshold 0.001 --batch_size 1 --prec fp16-mix --device gcu
python3 main.py --frame topsinference --model ppyolo --model_path ./model/ppyolo_mbv3_large_coco-320-op13-fp32-bs1.onnx --fp32_op p2o.NonMaxSuppression.0 --data_path ./data/COCO --input_width 320 --input_height 320 --draw_threshold 0.001 --batch_size 1 --prec fp16-mix --device gcu
python3 main.py --frame topsinference --model ppyolo --model_path ./model/ppyolo_tiny_650e_coco-320-op13-fp32-bs1.onnx --fp32_op p2o.NonMaxSuppression.0 --data_path ./data/COCO --input_width 320 --input_height 320 --draw_threshold 0.001 --batch_size 1 --prec fp16-mix --device gcu
python3 main.py --frame topsinference --model ppyolo --model_path ./model/ppyolo_r18vd_coco-512-op13-fp32-bs1.onnx --fp32_op NonMaxSuppression_0,Squeeze_3,Mul_2,Squeeze_8,Mul_13 --data_path ./data/COCO --input_width 512 --input_height 512 --draw_threshold 0.001 --batch_size 1 --prec fp16-mix --device gcu
python3 main.py --frame topsinference --model ppyolo --model_path ./model/ppyolo_r50vd_dcn_1x_coco-608-op13-fp32-bs1.onnx --fp32_op Concat_64,Squeeze_146,Mul_154,Squeeze_156,Mul_176,NonMaxSuppression_0 --data_path ./data/COCO --input_width 608 --input_height 608 --draw_threshold 0.001 --batch_size 1 --prec fp16-mix --device gcu
python3 main.py --frame topsinference --model ppyolo --model_path ./model/ppyolo_r50vd_dcn_2x_coco-608-op13-fp32-bs1.onnx --fp32_op Concat_64,Squeeze_146,Mul_154,Squeeze_156,Mul_176,NonMaxSuppression_0 --data_path ./data/COCO --input_width 608 --input_height 608 --draw_threshold 0.001 --batch_size 1 --prec fp16-mix --device gcu

可配置的参数包括：

--model_path
--fp32_op
--data_path
--input_width
--input_height
--draw_threshold
--batch_size
--prec
--device

可以使用

python3 main.py --frame topsinference --model ppyolo -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

ppyolo_mbv3_small_coco-320-op13-fp32-bs1.onnx

mAP_bbox: >=0.169

ppyolo_mbv3_large_coco-320-op13-fp32-bs1.onnx

mAP_bbox: >=0.236

ppyolo_tiny_650e_coco-320-op13-fp32-bs1.onnx

mAP_bbox: >=0.201

ppyolo_r18vd_coco-512-op13-fp32-bs1.onnx

mAP_bbox: >=0.280

ppyolo_r50vd_dcn_1x_coco-608-op13-fp32-bs1.onnx

mAP_bbox: >=0.425

ppyolo_r50vd_dcn_2x_coco-608-op13-fp32-bs1.onnx

mAP_bbox: >=0.430

ONNX模型文件导出说明

引用说明

2.2. rnnt

模型说明

  • 该模型代码存放于inference_models/topsinference_models/rnnt，相关文档存放于docs/model_docs/topsinference_models/rnnt。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

  • 安装sox库

apt install sox

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-librispeech

  • 处理后的数据集应放置在data/LibriSpeech

  • 预训练模型共3个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 rnnt_encoder-op13-fp32-N.onnx、rnnt_joint-op13-fp32-N.onnx 、rnnt_prediction-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame topsinference --model rnnt --model_path ./model/rnnt_encoder-op13-fp32-N.onnx,./model/rnnt_prediction-op13-fp32-N.onnx,./model/rnnt_joint-op13-fp32-N.onnx --data_path ./data/LibriSpeech/dev-clean-wav.json   --max_length 1100  --config_path ./data/LibriSpeech/rnnt.toml

可配置的参数包括：

--model_path
--data_path
--config_path

可以使用

python3 main.py --frame topsinference --model rnnt -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

device

precision

wer

GCU

fp32

7.46

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-rnnt

引用说明

2.3. topsinference-gpt2_en

模型说明

  • 该模型代码存放于inference_models/topsinference_models/gpt2_en，相关文档存放于docs/model_docs/topsinference_models/gpt2_en。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型在wikitext数据集上进行，数据集在模型推理时会自动下载至data/wikitext

  • 预训练模型共2个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 gpt2_small-huggingface-op13-fp32-seqN.onnx gpt2_small-huggingface-op13-fp32-seqN-nocache.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame topsinference --model gpt2_en \
--batch_size 1 \
--model_path model/gpt2_small-huggingface-op13-fp32-seqN.onnx

python3 main.py --frame topsinference --model gpt2_en \
--batch_size 1 \
--model_path model/gpt2_small-huggingface-op13-fp32-seqN-nocache.onnx

可配置的参数包括：

--model_path
--data_path
--batch_size

可以使用

python3 main.py --frame topsinference --model gpt2_en -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

gpt2_small-huggingface-op13-fp32-seqN-nocache.onnx:

device

perplexicity

GCU

29.37163

gpt2_small-huggingface-op13-fp32-seqN.onnx

device

perplexicity

GCU

29.37163

gpt-xl-op13-fp32-N.onnx

device

perplexicity

GCU

16.92029

ONNX模型文件导出说明

引用说明

2.4. topsinference-resnet-tv

模型说明

  • 该模型代码存放于inference_models/topsinference_models/transformer，相关文档存放于docs/model_docs/topsinference_models/transformer。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型在transformer英文翻译为中文任务测试,在Tatoeba eng-zho数据集上进行

  • 数据集会在脚本执行期间自动下载并被放置在./data/transformer

  • 预训练模型共3个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 transformer_encoder-mt-huggingface-op13-fp32-N.onnx transformer_init_decoder-mt-huggingface-op13-fp32-N.onnx transformer_decoder-mt-huggingface-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame topsinference --model transformer-mt --model_path ./model/transformer_encoder-mt-huggingface-op13-fp32-N.onnx,./model/transformer_init_decoder-mt-huggingface-op13-fp32-N.onnx,./model/transformer_decoder-mt-huggingface-op13-fp32-N.onnx  --data_path ./data/transformer  --batch_size 1 --device gcu

可配置的参数包括：

--model_path
--data_path
--batch_size
--device
--num_beams
--prec

可以使用

python main.py --frame topsinference --model transformer -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

bleu: >=0.29250 and <=0.29450

ONNX模型文件导出说明

引用说明

2.5. topsinference-maskrcnn

模型说明

  • 该模型代码存放于inference_models/topsinference_models/mask_rcnn，相关文档存放于docs/model_docs/topsinference_models/mask_rcnn。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共4个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-unexport_mask.onnx maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-unexport_mask.json maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-without_rescale.onnx maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-without_rescale.json maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.onnx maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.json maskrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.onnx maskrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.json

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

# maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-unexport_mask.onnx
python3 main.py --frame topsinference --model mask_rcnn-mmd --model_path ./model/maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-unexport_mask.onnx --fp32_op_path ./model/maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-unexport_mask.json --data_path ./data/COCO --prec fp16_mix --dynamic_input --scale 800 1344 --to_rgb --keep_ratio --post_mask --post_rescale

# maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-without_rescale.onnx
python3 main.py --frame topsinference --model mask_rcnn-mmd --model_path ./model/maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-without_rescale.onnx --fp32_op_path ./model/maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-without_rescale.json --data_path ./data/COCO --prec fp16_mix --pg_mode 3pg --scale 800 1216 --to_rgb --post_rescale

# maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.onnx
python3 main.py --frame topsinference --model mask_rcnn-mmd --model_path ./model/maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.onnx --fp32_op_path ./model/maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.json --data_path ./data/COCO --prec fp16_mix --dynamic_input --scale 800 1344 --to_rgb --keep_ratio

# maskrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.onnx
python3 main.py --frame topsinference --model mask_rcnn-mmd --model_path ./model/maskrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.onnx --fp32_op_path ./model/maskrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.json --data_path ./data/COCO --prec fp16_mix --scale 800 1216 --to_rgb --post_rescale

可配置的参数包括：

--model_path
--fp32_op_path
--data_path
--prec
--scale
--to_rgb
--post_mask
--post_rescale

可以使用

python3 main.py --frame topsinference --model mask_rcnn-mmd -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

dynamic_input

precision

mAP_bbox

mAP_segm

maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-unexport_mask.onnx

GCU

True

fp16_mix

0.4085

0.3585

maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-without_rescale.onnx

GCU

False

fp16_mix

0.3805

0.3463

maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.onnx

GCU

True

fp16_mix

0.4085

0.3713

maskrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.onnx

GCU

False

fp16_mix

0.4161

0.3741

ONNX模型文件导出说明

引用说明

2.6. topsinference-fasterrcnn

模型说明

  • 该模型代码存放于inference_models/topsinference_models/faster_rcnn，相关文档存放于docs/model_docs/topsinference_models/faster_rcnn。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共11个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N-topk_static.onnx fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N-topk_static.json fasterrcnn-resnet50_c4_1x_caffe-mmdetection-op13-fp32-N.onnx fasterrcnn-resnet50_c4_1x_caffe-mmdetection-op13-fp32-N.json fasterrcnn-resnet50_dc5_3x_caffe-mmdetection-op13-fp32-N.onnx fasterrcnn-resnet50_dc5_3x_caffe-mmdetection-op13-fp32-N.json fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N.onnx fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N.json fasterrcnn-resnet50_fpn_3x_caffe-mmdetection-op13-fp32-N.onnx fasterrcnn-resnet50_fpn_3x_caffe-mmdetection-op13-fp32-N.json fasterrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx fasterrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N.json fasterrcnn-resnet101_fpn_3x_caffe-mmdetection-op13-fp32-N.onnx fasterrcnn-resnet101_fpn_3x_caffe-mmdetection-op13-fp32-N.json fasterrcnn-resnet101_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx fasterrcnn-resnet101_fpn_3x_pytorch-mmdetection-op13-fp32-N.json fasterrcnn-resnext101_32x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx fasterrcnn-resnext101_32x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.json fasterrcnn-resnext101_32x8d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx fasterrcnn-resnext101_32x8d_fpn_3x_pytorch-mmdetection-op13-fp32-N.json fasterrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx fasterrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.json

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

# fasterrcnn-resnet50_c4_1x_caffe-mmdetection-op13-fp32-N.onnx
python3 main.py --frame topsinference --model faster_rcnn-mmd --model_path ./model/fasterrcnn-resnet50_c4_1x_caffe-mmdetection-op13-fp32-N.onnx --fp32_op_path ./model/fasterrcnn-resnet50_c4_1x_caffe-mmdetection-op13-fp32-N.json --data_path ./data --mean 103.530 116.280 123.675 --std 1.0 1.0 1.0 --dynamic_input --post_rescale --prec fp16_mix --scale 800 1344 --keep_ratio

# fasterrcnn-resnet50_dc5_3x_caffe-mmdetection-op13-fp32-N.onnx
python3 main.py --frame topsinference --model faster_rcnn-mmd --model_path ./model/fasterrcnn-resnet50_dc5_3x_caffe-mmdetection-op13-fp32-N.onnx --fp32_op_path ./model/fasterrcnn-resnet50_dc5_3x_caffe-mmdetection-op13-fp32-N.json --data_path ./data --mean 103.530 116.280 123.675 --std 1.0 1.0 1.0 --dynamic_input --post_rescale --prec fp16_mix --scale 800 1344 --keep_ratio

# fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N.onnx
python3 main.py --frame topsinference --model faster_rcnn-mmd --model_path ./model/fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N.onnx --fp32_op_path ./model/fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N.json --data_path ./data --dynamic_input --post_rescale --prec fp16_mix --scale 800 1344 --to_rgb --keep_ratio

# fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N-topk_static.onnx
python3 main.py --frame topsinference --model faster_rcnn-mmd --model_path ./model/fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N-topk_static.onnx --fp32_op_path ./model/fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N-topk_static.json --data_path ./data --dynamic_input --post_rescale --prec fp16_mix --scale 800 1344 --to_rgb --keep_ratio

# fasterrcnn-resnet50_fpn_3x_caffe-mmdetection-op13-fp32-N.onnx
python3 main.py --frame topsinference --model faster_rcnn-mmd --model_path ./model/fasterrcnn-resnet50_fpn_3x_caffe-mmdetection-op13-fp32-N.onnx --fp32_op_path ./model/fasterrcnn-resnet50_fpn_3x_caffe-mmdetection-op13-fp32-N.json --data_path ./data --mean 103.530 116.280 123.675 --std 1.0 1.0 1.0 --dynamic_input --post_rescale --prec fp16_mix --scale 800 1344 --keep_ratio

# fasterrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx
python3 main.py --frame topsinference --model faster_rcnn-mmd --model_path ./model/fasterrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx --fp32_op_path ./model/fasterrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N.json --data_path ./data --dynamic_input --post_rescale --prec fp16_mix --scale 800 1344 --to_rgb --keep_ratio

# fasterrcnn-resnet101_fpn_3x_caffe-mmdetection-op13-fp32-N.onnx
python3 main.py --frame topsinference --model faster_rcnn-mmd --model_path ./model/fasterrcnn-resnet101_fpn_3x_caffe-mmdetection-op13-fp32-N.onnx --fp32_op_path ./model/fasterrcnn-resnet101_fpn_3x_caffe-mmdetection-op13-fp32-N.json --data_path ./data --mean 103.530 116.280 123.675 --std 1.0 1.0 1.0 --dynamic_input --post_rescale --prec fp16_mix --scale 800 1344 --keep_ratio

# fasterrcnn-resnext101_32x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx
python3 main.py --frame topsinference --model faster_rcnn-mmd --model_path ./model/fasterrcnn-resnext101_32x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx --fp32_op_path ./model/fasterrcnn-resnext101_32x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.json --data_path ./data --post_rescale --prec fp16_mix --scale 800 1216 --to_rgb

# fasterrcnn-resnext101_32x8d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx
python3 main.py --frame topsinference --model faster_rcnn-mmd --model_path ./model/fasterrcnn-resnext101_32x8d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx --fp32_op_path ./model/fasterrcnn-resnext101_32x8d_fpn_3x_pytorch-mmdetection-op13-fp32-N.json --data_path ./data --mean 103.530 116.280 123.675 --std 57.375 57.120 58.395 --post_rescale --prec fp16_mix --scale 800 1216

# fasterrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx
python3 main.py --frame topsinference --model faster_rcnn-mmd --model_path ./model/fasterrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx --fp32_op_path ./model/fasterrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.json --data_path ./data --post_rescale --prec fp16_mix --scale 800 1216 --to_rgb

# fasterrcnn-resnet101_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx
python3 main.py --frame topsinference --model faster_rcnn-mmd --model_path ./model/fasterrcnn-resnet101_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx --fp32_op_path ./model/fasterrcnn-resnet101_fpn_3x_pytorch-mmdetection-op13-fp32-N.json --data_path ./data --dynamic_input --post_rescale --prec fp16_mix --scale 800 1344 --to_rgb --keep_ratio

可配置的参数包括：

--model_path
--fp32_op_path
--data_path
--prec
--scale
--to_rgb
--mean
--std
--keep_ratio
--post_rescale

可以使用

python3 main.py --frame topsinference --model faster_rcnn-mmd -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

precision

dynamic_input

mAP_bbox

fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N-topk_static.onnx

GCU

fp16_mix

True

0.3829

fasterrcnn-resnet101_fpn_3x_caffe-mmdetection-op13-fp32-N.onnx

GCU

fp16_mix

True

0.4178

fasterrcnn-resnet101_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx

GCU

fp16_mix

True

0.4170

fasterrcnn-resnet50_c4_1x_caffe-mmdetection-op13-fp32-N.onnx

GCU

fp16_mix

True

0.3563

fasterrcnn-resnet50_dc5_3x_caffe-mmdetection-op13-fp32-N.onnx

GCU

fp16_mix

True

0.3842

fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N.onnx

GCU

fp16_mix

True

0.3829

fasterrcnn-resnet50_fpn_3x_caffe-mmdetection-op13-fp32-N.onnx

GCU

fp16_mix

True

0.3975

fasterrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx

GCU

fp16_mix

True

0.3998

fasterrcnn-resnext101_32x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx

GCU

fp16_mix

False

0.3975

fasterrcnn-resnext101_32x8d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx

GCU

fp16_mix

False

0.3940

fasterrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx

GCU

fp16_mix

False

0.4015

ONNX模型文件导出说明

引用说明

2.7. sam-prompt

模型说明

  • 该模型代码存放于inference_models/topsinference_models/sam_prompt，相关文档存放于docs/model_docs/topsinference_models/sam_prompt。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-sam_prompt

  • 处理后的数据集应放置在./data/SAM/prompt

  • 预训练模型共3组，包含6个模型， 应放置在./model，如缺少模型文件，可联系销售工程师获取

    • sam-vit_b-encoder-meta-op13-fp32-N.onnx

    • sam-vit_b-encoder-meta-op13-fp32-N.json

    • sam-vit_b-decoder-prompt-meta-op13-fp32.onnx

    • sam-vit_b-decoder-prompt-meta-op13-fp32.json

    • sam-vit_h-encoder-meta-op13-fp32-N.onnx

    • sam-vit_h-encoder-meta-op13-fp32-N.weights

    • sam-vit_h-encoder-meta-op13-fp32-N.json

    • sam-vit_h-decoder-prompt-meta-op13-fp32.onnx

    • sam-vit_h-decoder-prompt-meta-op13-fp32.json

    • sam-vit_l-encoder-meta-op13-fp32-N.onnx

    • sam-vit_l-encoder-meta-op13-fp32-N.json

    • sam-vit_l-decoder-prompt-meta-op13-fp32.onnx

    • sam-vit_l-decoder-prompt-meta-op13-fp32.json

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

# sam-vit_b
python3 main.py --frame topsinference --model sam-prompt --encoder_model ./model/sam-vit_b-encoder-meta-op13-fp32-N.onnx --decoder_model ./model/sam-vit_b-decoder-prompt-meta-op13-fp32.onnx --encoder_fp32_op_path ./model/sam-vit_b-encoder-meta-op13-fp32-N.json --decoder_fp32_op_path ./model/sam-vit_b-decoder-prompt-meta-op13-fp32.json --data_path ./data/SAM/prompt/sam_vit_b --prec fp16_mix --post_mask

# sam-vit_h
python3 main.py --frame topsinference --model sam-prompt --encoder_model ./model/sam-vit_h-encoder-meta-op13-fp32-N.onnx --decoder_model ./model/sam-vit_h-decoder-prompt-meta-op13-fp32.onnx --encoder_fp32_op_path ./model/sam-vit_h-encoder-meta-op13-fp32-N.json --decoder_fp32_op_path ./model/sam-vit_h-decoder-prompt-meta-op13-fp32.json --data_path ./data/SAM/prompt/sam_vit_h --prec fp16_mix --post_mask

# sam-vit_l
python3 main.py --frame topsinference --model sam-prompt --encoder_model ./model/sam-vit_l-encoder-meta-op13-fp32-N.onnx --decoder_model ./model/sam-vit_l-decoder-prompt-meta-op13-fp32.onnx --encoder_fp32_op_path ./model/sam-vit_l-encoder-meta-op13-fp32-N.json --decoder_fp32_op_path ./model/sam-vit_l-decoder-prompt-meta-op13-fp32.json --data_path ./data/SAM/prompt/sam_vit_l --prec fp16_mix --post_mask

可配置的参数包括：

--encoder_model
--decoder_model
--encoder_fp32_op_path
--decoder_fp32_op_path
--data_path
--prec
--post_mask

可以使用

python3 main.py --frame topsinference --model sam-prompt -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

encoder_model

decoder_model

device

precision

post_mask

mIoU

sam-vit_b-encoder-meta-op13-fp32-N.onnx

sam-vit_b-decoder-prompt-meta-op13-fp32.onnx

GCU

fp16_mix

True

0.9691

sam-vit_h-encoder-meta-op13-fp32-N.onnx

sam-vit_h-decoder-prompt-meta-op13-fp32.onnx

GCU

fp16_mix

True

0.9977

sam-vit_l-encoder-meta-op13-fp32-N.onnx

sam-vit_l-decoder-prompt-meta-op13-fp32.onnx

GCU

fp16_mix

True

0.9966

ONNX模型文件导出说明

引用说明

2.8. topsinference-retinaface

模型说明

  • 该模型代码存放于inference_models/topsinference_models/retinaface，相关文档存放于docs/model_docs/topsinference_models/retinaface。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-widerface

  • 处理后的数据集应放置在 ./data/widerface

  • 预训练模型共2个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 retinaface-mobilenetv1-pt-op13-fp32.onnx retinaface-rn50-pt-op13-fp32.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame topsinference --model retinaface --model_path model/retinaface-mobilenetv1-pt-op13-fp32.onnx --data_path ./data/widerface --batch_size 1 --version pytorch --conf_thres 0.02 --iou_thres 0.4 --prec fp16-mix
python3 main.py --frame topsinference --model retinaface --model_path model/retinaface-rn50-pt-op13-fp32.onnx --data_path ./data/widerface --batch_size 1 --version pytorch --conf_thres 0.02 --iou_thres 0.4 --prec fp16-mix

可配置的参数包括：

--model_path
--data_path
--batch_size
--version
--conf_thres
--iou_thres
--prec

可以使用

python3 main.py --frame topsinference --model retinaface -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

framework

precision

easy val ap

medium val ap

hard val ap

retinaface-mobilenetv1-pt-op13-fp32.onnx

GCU

topsinference

fp16-mix

91.08%

89.40%

84.27%

retinaface-rn50-pt-op13-fp32.onnx

GCU

topsinference

fp16-mix

95.83%

95.13%

92.14%

ONNX模型文件导出说明

引用说明

2.9. sam-automask

模型说明

  • 该模型代码存放于inference_models/topsinference_models/sam_automask，相关文档存放于docs/model_docs/topsinference_models/sam_automask。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型在SA-1B部分数据集上进行，数据集准备详见附录：数据准备-sam_automask

  • 处理后的数据集应放置在./data/SAM/automask

  • 预训练模型共3组，包含6个模型， 应放置在./model，如缺少模型文件，可联系销售工程师获取

    • sam-vit_b-encoder-meta-op13-fp32-N.onnx

    • sam-vit_b-encoder-meta-op13-fp32-N.json

    • sam-vit_b-decoder-automask-meta-op13-fp32.onnx

    • sam-vit_b-decoder-automask-meta-op13-fp32.json

    • sam-vit_h-encoder-meta-op13-fp32-N.onnx

    • sam-vit_h-encoder-meta-op13-fp32-N.weights

    • sam-vit_h-encoder-meta-op13-fp32-N.json

    • sam-vit_h-decoder-automask-meta-op13-fp32.onnx

    • sam-vit_h-decoder-automask-meta-op13-fp32.json

    • sam-vit_l-encoder-meta-op13-fp32-N.onnx

    • sam-vit_l-encoder-meta-op13-fp32-N.json

    • sam-vit_l-decoder-automask-meta-op13-fp32.onnx

    • sam-vit_l-decoder-automask-meta-op13-fp32.json

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

# sam-vit_b
python3 main.py --frame topsinference --model sam-automask --encoder_model ./model/sam-vit_b-encoder-meta-op13-fp32-N.onnx --decoder_model ./model/sam-vit_b-decoder-automask-meta-op13-fp32.onnx --encoder_fp32_op_path ./model/sam-vit_b-encoder-meta-op13-fp32-N.json --decoder_fp32_op_path ./model/sam-vit_b-decoder-automask-meta-op13-fp32.json --data_path ./data/SAM/automask --prec fp16_mix --post_mask

# sam-vit_h
python3 main.py --frame topsinference --model sam-automask --encoder_model ./model/sam-vit_h-encoder-meta-op13-fp32-N.onnx --decoder_model ./model/sam-vit_h-decoder-automask-meta-op13-fp32.onnx --encoder_fp32_op_path ./model/sam-vit_h-encoder-meta-op13-fp32-N.json --decoder_fp32_op_path ./model/sam-vit_h-decoder-automask-meta-op13-fp32.json --data_path ./data/SAM/automask --prec fp16_mix --post_mask

# sam-vit_l
python3 main.py --frame topsinference --model sam-automask --encoder_model ./model/sam-vit_l-encoder-meta-op13-fp32-N.onnx --decoder_model ./model/sam-vit_l-decoder-automask-meta-op13-fp32.onnx --encoder_fp32_op_path ./model/sam-vit_l-encoder-meta-op13-fp32-N.json --decoder_fp32_op_path ./model/sam-vit_l-decoder-automask-meta-op13-fp32.json --data_path ./data/SAM/automask --prec fp16_mix --post_mask

可配置的参数包括：

--encoder_model
--decoder_model
--encoder_fp32_op_path
--decoder_fp32_op_path
--data_path
--prec
--post_mask

可以使用

python3 main.py --frame topsinference --model sam-automask -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

encoder_model

decoder_model

device

precision

post_mask

mAP_bbox

mAP_segm

sam-vit_b-encoder-meta-op13-fp32-N.onnx

sam-vit_b-decoder-automask-meta-op13-fp32.onnx

GCU

fp16_mix

True

0.2750

0.2745

sam-vit_h-encoder-meta-op13-fp32-N.onnx

sam-vit_h-decoder-automask-meta-op13-fp32.onnx

GCU

fp16_mix

True

0.3774

0.3816

sam-vit_l-encoder-meta-op13-fp32-N.onnx

sam-vit_l-decoder-automask-meta-op13-fp32.onnx

GCU

fp16_mix

True

0.3731

0.3773

ONNX模型文件导出说明

引用说明

2.10. topsinference-retinanet

模型说明

  • 该模型代码存放于inference_models/topsinference_models/retinanet，相关文档存放于docs/model_docs/topsinference_models/retinanet。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共2个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 retinanet-r101-mmdet-pt-op13-fp32.onnx retinanet-r50-mmdet-pt-op13-fp32.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame topsinference --model retinanet --model_path ./model/retinanet-r101-mmdet-pt-op13-fp32.onnx --data_path ./data/COCO --batch_size 1 --conf_thres 0.04 --version mmdet --prec fp16-mix
python3 main.py --frame topsinference --model retinanet --model_path ./model/retinanet-r50-mmdet-pt-op13-fp32.onnx --data_path ./data/COCO --batch_size 1 --conf_thres 0.04 --version mmdet --prec fp16-mix

可配置的参数包括：

--model_path
--data_path
--batch_size
--conf_thres
--version
--prec

可以使用

python3 main.py --frame topsinference --model retinanet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

precision

conf thres

mAP

retinanet-r50-mmdet-pt-op13-fp32.onnx

GCU

fp16-mix

0.04

35.54%

retinanet-r101-mmdet-pt-op13-fp32.onnx

GCU

fp16-mix

0.04

37.45%

ONNX模型文件导出说明

引用说明

2.11. topsinference-ssdlite_mobilenetv1

模型说明

  • 该模型代码存放于inference_models/topsinference_models/ssdlite_mobilenetv1，相关文档存放于docs/model_docs/topsinference_models/ssdlite_mobilenetv1。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco

  • 处理后的数据集应放置在./data

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 ssdlite_mobilenet_v1-paddle-op13-fp32.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame topsinference --model ssdlite_mobilenetv1 --model_path ./model/ssdlite_mobilenet_v1-paddle-op13-fp32.onnx --data_path ./data --batch_size 1 --prec fp16-mix

可配置的参数包括：

--model_path
--data_path
--batch_size
--prec

可以使用

python3 main.py --frame topsinference --model ssdlite_mobilenetv1 -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

mAP_bbox: >=0.230

ONNX模型文件导出说明

引用说明

2.12. topsinference-deeplabv3

模型说明

  • 该模型代码存放于inference_models/topsinference_models/deeplabv3，相关文档存放于docs/model_docs/topsinference_models/deeplabv3。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-voc

  • 处理后的数据集应放置在data

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 deeplabv3-resnet50-pt-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame topsinference --model deeplabv3 --model_path model/deeplabv3-resnet50-pt-op13-fp32-N.onnx --data_path data --batch_size 1 --version pt --prec fp16-mix

可配置的参数包括：

--model_path
--data_path
--batch_size
--version
--prec

可以使用

python3 main.py --frame topsinference --model deeplabv3 -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

mean iou: 0.706

ONNX模型文件导出说明

引用说明

2.13. topsinference-efficientnet

模型说明

  • 该模型代码存放于inference_models/topsinference_models/efficientnet，相关文档存放于docs/model_docs/topsinference_models/efficientnet。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/val/

  • 预训练模型共8个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 efficientnet_b0-torch-op13-fp32-N.onnx efficientnet_b1-torch-op13-fp32-N.onnx efficientnet_b2-torch-op13-fp32-N.onnx efficientnet_b3-torch-op13-fp32-N.onnx efficientnet_b4-torch-op13-fp32-N.onnx efficientnet_b5-torch-op13-fp32-N.onnx efficientnet_b6-torch-op13-fp32-N.onnx efficientnet_b7-torch-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame topsinference --model efficientnet-tv \
--data_path ./data/val/ \
--batch_size 1 \
--model_path ./model/efficientnet_b0-torch-op13-fp32-N.onnx \
--input_height=224 \
--input_width=224 \
--resize_size=256

python3 main.py --frame topsinference --model efficientnet-tv \
--data_path ./data/val/ \
--batch_size 1 \
--model_path ./model/efficientnet_b1-torch-op13-fp32-N.onnx \
--input_height=240 \
--input_width=240 \
--resize_size=256

python3 main.py --frame topsinference --model efficientnet-tv \
--data_path ./data/val/ \
--batch_size 1 \
--model_path ./model/efficientnet_b2-torch-op13-fp32-N.onnx \
--input_height=288 \
--input_width=288 \
--resize_size=288

python3 main.py --frame topsinference --model efficientnet-tv \
--data_path ./data/val/ \
--batch_size 1 \
--model_path ./model/efficientnet_b3-torch-op13-fp32-N.onnx \
--input_height=300 \
--input_width=300 \
--resize_size=320

python3 main.py --frame topsinference --model efficientnet-tv \
--data_path ./data/val/ \
--batch_size 1 \
--model_path ./model/efficientnet_b4-torch-op13-fp32-N.onnx \
--input_height=380 \
--input_width=380 \
--resize_size=384

python3 main.py --frame topsinference --model efficientnet-tv \
--data_path ./data/val/ \
--batch_size 1 \
--model_path ./model/efficientnet_b5-torch-op13-fp32-N.onnx \
--input_height=456 \
--input_width=456 \
--resize_size=456

python3 main.py --frame topsinference --model efficientnet-tv \
--data_path ./data/val/ \
--batch_size 1 \
--model_path ./model/efficientnet_b6-torch-op13-fp32-N.onnx \
--input_height=528 \
--input_width=528 \
--resize_size=528

python3 main.py --frame topsinference --model efficientnet-tv \
--data_path ./data/val/ \
--batch_size 1 \
--model_path ./model/efficientnet_b7-torch-op13-fp32-N.onnx \
--input_height=600 \
--input_width=600 \
--resize_size=600

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size

可以使用

python3 main.py --frame topsinference --model efficientnet-tv -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

acc1

acc5

efficientnet_b0-torch-op13-fp32-N.onnx

0.77672

0.93584

efficientnet_b1-torch-op13-fp32-N.onnx

0.78644

0.94228

efficientnet_b2-torch-op13-fp32-N.onnx

0.80618

0.95292

efficientnet_b3-torch-op13-fp32-N.onnx

0.82036

0.96044

efficientnet_b4-torch-op13-fp32-N.onnx

0.83438

0.96604

efficientnet_b5-torch-op13-fp32-N.onnx

0.83396

0.96622

efficientnet_b6-torch-op13-fp32-N.onnx

0.84004

0.96916

efficientnet_b7-torch-op13-fp32-N.onnx

0.84042

0.96886

ONNX模型文件导出说明

引用说明

2.14. topsinference-cascadercnn

模型说明

  • 该模型代码存放于inference_models/topsinference_models/cascade_rcnn，相关文档存放于docs/model_docs/topsinference_models/cascade_rcnn。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了TopsInference.whl的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共5个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 cascade_mask_rcnn-resnet50_fpn_pytorch_3x-mmdetection-op13-fp32-N-unexport_mask-topk_static.onnx cascade_mask_rcnn-resnet50_fpn_pytorch_3x-mmdetection-op13-fp32-N-unexport_mask-topk_static.json cascade_rcnn-resnet50_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.onnx cascade_rcnn-resnet50_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.json cascade_rcnn-resnet101_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.onnx cascade_rcnn-resnet101_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.json cascade_rcnn-resnext101_32x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.onnx cascade_rcnn-resnext101_32x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.json cascade_rcnn-resnext101_64x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.onnx cascade_rcnn-resnext101_64x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.json

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

# cascade_mask_rcnn-resnet50_fpn_pytorch_3x-mmdetection-op13-fp32-N-unexport_mask-topk_static.onnx
python3 main.py --frame topsinference --model cascade_rcnn-mmd --model_path ./model/cascade_mask_rcnn-resnet50_fpn_pytorch_3x-mmdetection-op13-fp32-N-unexport_mask-topk_static.onnx --fp32_op_path ./model/cascade_mask_rcnn-resnet50_fpn_pytorch_3x-mmdetection-op13-fp32-N-unexport_mask-topk_static.json --data_path ./data/COCO --prec fp16_mix --dynamic_input --scale 800 1344 --to_rgb --keep_ratio --post_mask --post_rescale --batch_size 1

# cascade_rcnn-resnet50_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.onnx
python3 main.py --frame topsinference --model cascade_rcnn-mmd --model_path ./model/cascade_rcnn-resnet50_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.onnx --fp32_op_path ./model/cascade_rcnn-resnet50_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.json --data_path ./data/COCO --prec fp16_mix --dynamic_input --scale 800 1344 --to_rgb --keep_ratio --post_rescale --batch_size 1

# cascade_rcnn-resnet101_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.onnx
python3 main.py --frame topsinference --model cascade_rcnn-mmd --model_path ./model/cascade_rcnn-resnet101_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.onnx --fp32_op_path ./model/cascade_rcnn-resnet101_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.json --data_path ./data/COCO --prec fp16_mix --dynamic_input --scale 800 1344 --to_rgb --keep_ratio --post_rescale --batch_size 1

# cascade_rcnn-resnext101_32x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.onnx
python3 main.py --frame topsinference --model cascade_rcnn-mmd --model_path ./model/cascade_rcnn-resnext101_32x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.onnx --fp32_op_path ./model/cascade_rcnn-resnext101_32x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.json --data_path ./data/COCO --prec fp16_mix --scale 800 1216 --to_rgb --post_rescale --batch_size 1

# cascade_rcnn-resnext101_64x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.onnx
python3 main.py --frame topsinference --model cascade_rcnn-mmd --model_path ./model/cascade_rcnn-resnext101_64x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.onnx --fp32_op_path ./model/cascade_rcnn-resnext101_64x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.json --data_path ./data/COCO --prec fp16_mix --scale 800 1216 --to_rgb --post_rescale --batch_size 1

可配置的参数包括：

--model_path
--fp32_op_path
--data_path
--prec
--scale
--to_rgb
--post_mask
--post_rescale
--batch_size

可以使用

python3 main.py --frame topsinference --model cascade_rcnn-mmd -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

precision

dynamic_input

mAP_bbox

mAP_segm

cascade_mask_rcnn-resnet50_fpn_pytorch_3x-mmdetection-op13-fp32-N-unexport_mask-topk_static.onnx

GCU

fp16_mix

True

0.4414

0.3759

cascade_rcnn-resnet50_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.onnx

GCU

fp16_mix

True

0.4086

–

cascade_rcnn-resnet101_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.onnx

GCU

fp16_mix

True

0.4230

–

cascade_rcnn-resnext101_32x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.onnx

GCU

fp16_mix

False

0.4145

–

cascade_rcnn-resnext101_64x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.onnx

GCU

fp16_mix

False

0.4199

–

ONNX模型文件导出说明

引用说明

2.15. onnx-yolov4-darknet

模型说明

  • 该模型代码存放于inference_models/onnx_models/yolov4，相关文档存放于docs/model_docs/onnx_models/yolov4。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 yolov4-leaky-608-darknet-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model yolov4-darknet --model_path ./model/yolov4-leaky-608-darknet-op13-fp32-N.onnx --data_path ./data/COCO --input_width 608 --input_height 608 --conf-thres 0.001 --iou-thres 0.6 --scale_x_y 1.05 --batch_size 1 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--conf-thres
--iou-thres
--scale_x_y
--batch_size
--device

可以使用

python main.py --frame onnx --model yolov4-darknet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

mAP_bbox: ">=0.485 and <=0.495"

ONNX模型文件导出说明

引用说明

2.16. onnx-vgg16-tf

模型说明

  • 该模型代码存放于 inference_models/onnx_models/vgg_tf，相关文档存放于 docs/model_docs/onnx_models/vgg_tf。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 vgg16-tfslim-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model vgg16-tf --model_path ./model/vgg16-tfslim-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--device

可以使用

python main.py --frame onnx --model vgg16-tf -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

acc1: >=0.708 and <=0.710
acc5: >=0.897 and <=0.899

ONNX模型文件导出说明

引用说明

2.17. onnx-resnet_tf

模型说明

  • 该模型代码存放于inference_models/onnx_models/resnet_tf，相关文档存放于docs/model_docs/onnx_models/resnet_tf。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 resnet_tf-mmcls-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model resnet-tf  --model_path ./model/resnet50_v1-tfslim-op13-fp32-N.onnx --data_path ./data/val/ --batch_size 16 --device gcu

python3 main.py --frame onnx --model resnet-tf  --model_path ./model/resnet50_v1-tfslim-op13-int8-N.onnx --data_path ./data/val/ --batch_size 1 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size

可以使用

python3 main.py --frame onnx --model shufflenetv1-mmcls -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

acc1

acc5

resnet50_v1-tfslim-op13-int8-N.onnx

GCU

0.7498

0.9218

resnet50_v1-tfslim-op13-fp32-N.onnx

CPU

0.75194

0.92216

ONNX模型文件导出说明

引用说明

2.18. onnx-densenet-caffe

模型说明

  • 该模型代码存放于inference_models/onnx_models/densenet_caffe，相关文档存放于docs/model_docs/onnx_models/densenet_caffe。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 densenet121-caffe2-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model densenet-caffe --model_path ./model/densenet121-caffe2-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --resize_size 256 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--resize_size
--device

可以使用

python3 main.py --frame onnx --model densenet-caffe -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

acc1: >=0.609

ONNX模型文件导出说明

引用说明

2.19. onnx-yolox

模型说明

  • 该模型代码存放于 inference_models/onnx_models/yolox，相关文档存放于 docs/model_docs/onnx_models/yolox。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共6个， 应放置在./model，如缺少模型文件，可联系销售工程师获取

    yolox_nano-416-op13-fp32-N.onnx
yolox_x-640-op13-fp32-N.onnx
yolox_m-640-op13-fp32-N.onnx
yolox_tiny-416-op13-fp32-N.onnx
yolox_l-640-op13-fp32-N.onnx
yolox_s-640-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model yolox --model_path ./model/yolox_nano-416-op13-fp32-N.onnx --data_path ./data/COCO --input_width 416 --input_height 416 --conf-thres 0.001 --iou-thres 0.65  --batch_size 32 --device gcu

python3 main.py --frame onnx --model yolox --model_path ./model/yolox_tiny-416-op13-fp32-N.onnx --data_path ./data/COCO --input_width 416 --input_height 416 --conf-thres 0.001 --iou-thres 0.65  --batch_size 32 --device gcu

python3 main.py --frame onnx --model yolox --model_path ./model/yolox_s-640-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.65  --batch_size 32 --device gcu

python3 main.py --frame onnx --model yolox --model_path ./model/yolox_m-640-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.65  --batch_size 32 --device gcu

python3 main.py --frame onnx --model yolox --model_path ./model/yolox_l-640-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.65  --batch_size 16 --device gcu

python3 main.py --frame onnx --model yolox --model_path ./model/yolox_x-640-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.65  --batch_size 16 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--conf-thres
--iou-thres
--batch_size
--device

可以使用

python main.py --frame onnx --model yolov4-darknet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

yolox_nano-416-op13-fp32-N.onnx    "mAP_bbox": ">=0.259 and <= 0.261"
yolox_tiny-416-op13-fp32-N.onnx    "mAP_bbox": ">=0.329 and <= 0.331"
yolox_s-640-op13-fp32-N.onnx       "mAP_bbox": ">=0.405 and <= 0.407"
yolox_m-640-op13-fp32-N.onnx       "mAP_bbox": ">=0.469 and <= 0.471"
yolox_l-640-op13-fp32-N.onnx       "mAP_bbox": ">=0.498 and <= 0.500"
yolox_x-640-op13-fp32-N.onnx       "mAP_bbox": ">=0.512 and <= 0.514"

ONNX模型文件导出说明

引用说明

2.20. onnx-yolov3-darknet

模型说明

  • 该模型代码存放于inference_models/onnx_models/yolov3，相关文档存放于docs/model_docs/onnx_models/yolov3。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 yolov3-608-darknet-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model yolov3-darknet --model_path ./model/yolov3-608-darknet-op13-fp32-N.onnx --data_path ./data/COCO --input_width 608 --input_height 608 --conf-thres 0.005 --iou-thres 0.45 --batch_size 1 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--conf-thres
--iou-thres
--batch_size
--device

可以使用

python3 main.py --frame onnx --model yolov3-darknet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

mAP_bbox: >=0.376 and <= 0.378

ONNX模型文件导出说明

引用说明

2.21. onnx-ghostnet

模型说明

  • 该模型代码存放于inference_models/onnx_models/ghostnet，相关文档存放于docs/model_docs/onnx_models/ghostnet。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共2个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 ghostnet-pt-op13-fp32-N.onnx ghostnet-tf-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model ghostnet --model_path ./model/ghostnet-pt-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --version pt --device cpu
python3 main.py --frame onnx --model ghostnet --mdoel_path ./model/ghostnet-tf-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --version tf --device cpu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--version
--device

可以使用

python3 main.py --frame onnx --model ghostnet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

ghostnet-pt-op13-fp32-N.onnx

acc1: 0.738
acc5: 0.915

ghostnet-tf-op13-fp32-N.onnx

acc1: 0.737
acc5: 0.912

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-ghostnet

引用说明

2.22. onnx-srresnet

模型说明

  • 该模型代码存放于inference_models/onnx_models/srresnet，相关文档存放于docs/model_docs/onnx_models/srresnet。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-div2k

  • 处理后的数据集应放置在data

  • 预训练模型共2个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 srresnet-pt-op13-fp32-N.onnx srresnet-tf-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model srresnet --model_path ./model/srresnet-pt-op13-fp32-N.onnx --data_path ./data --batch_size 1 --version pt --fixed_size --device cpu
python3 main.py --frame onnx --model srresnet --model_path ./model/srresnet-tf-op13-fp32-N.onnx --data_path ./data --batch_size 1 --version tf --fixed_size --device cpu

可配置的参数包括：

--model_path
--data_path
--batch_size
--version
--fixed_size
--device

可以使用

python main.py --frame onnx --model srresnet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

srresnet-pt-op13-fp32-N.onnx

psnr: 23.1300
ssim: 0.6504

srresnet-tf-op13-fp32-N.onnx

psnr: 21.8252
ssim: 0.5770

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-srresnet

引用说明

2.23. onnx-hcnet

模型说明

  • 该模型代码存放于inference_models/onnx_models/hcnet，相关文档存放于docs/model_docs/onnx_models/hcnet。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 hcnet32-pt-op13-fp32-N.onnx hcnet64-pt-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model hcnet --model_path ./model/hcnet32-pt-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --resize_size 256 --device cpu
python3 main.py --frame onnx --model hcnet --model_path ./model/hcnet64-pt-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --resize_size 256 --device cpu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--resize_size
--device

可以使用

python3 main.py --frame onnx --model hcnet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

precision

acc1

hcnet32-pt-op13-fp32-N.onnx

CPU

fp32

0.676

hcnet64-pt-op13-fp32-N.onnx

CPU

fp32

0.737

ONNX模型文件导出说明

引用说明

2.24. onnx-stgcn

模型说明

  • 该模型代码存放于inference_models/onnx_models/stgcn，相关文档存放于docs/model_docs/onnx_models/stgcn。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-stgcn

  • 处理后的数据集应放置在 ./data

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 stgcn-author-op13-fp32-N-kinectic.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model stgcn --model_path ./model/stgcn-author-op13-fp32-N-kinectic.onnx --data_path ./data/Kinetics/kinetics-skeleton/ --batch_size 1 --device gcu

可配置的参数包括：

--model_path
--data_path
--batch_size
--device

可以使用

python3 main.py --frame onnx --model stgcn -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

acc1: >=0.315 and <=0.317

ONNX模型文件导出说明

引用说明

2.25. onnx-inception-tf

模型说明

  • 该模型代码存放于inference_models/onnx_models/inception_tf，相关文档存放于docs/model_docs/onnx_models/inception_tf。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 inception_v1-tf-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model inception-tf --model_path ./model/inception_v1-tf-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--device

可以使用

python3 main.py --frame onnx --model inception-tf -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

acc1

inception_v1-tf-op13-fp32-N.onnx

CPU

0.69778

inception_v3-tf-op13-fp32-N.onnx

CPU

0.77896

inception_v4-tf-op13-fp32-N.onnx

CPU

0.8018

ONNX模型文件导出说明

引用说明

2.26. onnx-2dunet

模型说明

  • 2dunet模型是一个图像分割网络。它提出了一种用于医学图像分割的网络模型和数据增强方法，有效利用标注数据来解决医学领域标注数据不足的问题，同时利用U型网络结构获取上下文信息和位置信息。

  • 该模型代码存放于inference_models/onnx_models/2dunet，相关文档存放于docs/model_docs/onnx_models/2dunet。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-dagm2007

  • 处理后的数据集应放置在./data/dagm2007/

  • 预训练模型共1个，应放置在./model，如缺少模型文件，可联系销售工程师获取

    • 2dunet-tf-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model 2dunet-tf --model_path ./model/2dunet-tf-op13-fp32-N.onnx --data_path ./data/dagm2007/ --input_width 512 --input_height 512 --batch_size 32 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--device

可以使用

python main.py --frame onnx --model 2dunet-tf -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下：

model

device

precision

IOU-0.99

IOU-0.95

IOU-0.85

IOU-0.75

IOU-0.5

2dunet-tf-op13-fp32-N.onnx

GCU

fp16_mix

>=0.877

>=0.877

>=0.877

>=0.877

>=0.868

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-2dunet

引用说明

  • Guan S, Khan A A, Sikdar S, et al. Fully dense UNet for 2-D sparse photoacoustic tomography artifact removal[J]. IEEE journal of biomedical and health informatics, 2019, 24(2): 568-576.

2.27. onnx-conformer

模型说明

  • 该模型代码存放于inference_models/onnx_models/conformer，相关文档存放于docs/model_docs/onnx_models/conformer。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型用以实现语音识别(Automatic Speech Recognition)任务，数据集准备详见附录：数据准备-an4

  • 处理后的数据集应放置在./data

  • 预训练模型共2个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 conformer_small-asr-nvidia-op13-fp32-N.onnx stt_en_conformer_ctc_small.nemo

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --model_path ./model/conformer_small-asr-nvidia-op13-fp32-N.onnx --data_path ./data/test_manifest.json --nemo_path ./model/stt_en_conformer_ctc_small.nemo --padding_mode False --batch_size 10 --max_padding 99200 --device cpu

可配置的参数包括：

--model_path
--data_path
--nemo_path
--padding_mode
--batch_size
--max_padding
--device

可以使用

python main.py --frame onnx --model conformer -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

wer: >=5.87

ONNX模型文件导出说明

引用说明

2.28. onnx-swin_transformer

模型说明

  • 该模型是（补充模型介绍）

  • 该模型代码存放于inference_models/onnx_models/swin_transformer，相关文档存放于docs/model_docs/onnx_models/swin_transformer。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/val/

  • 预训练模型共4个，应放置在./model，如缺少模型文件，可联系销售工程师获取

    • swin_base_patch4_window12_384-ms-op13-fp32-N.onnx

    • swin_base_patch4_window7_224-ms-op13-fp32-N.onnx

    • swin_small_patch4_window7_224-ms-op13-fp32-N.onnx

    • swin_tiny_patch4_window7_224-ms-op13-fp32-N.onnx

步骤3：执行脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

swin_base_patch4_window12_384-ms-op13-fp32-N.onnx

python3 main.py --frame onnx --model swin_transformer --model_path ./model/swin_base_patch4_window12_384-ms-op13-fp32-N.onnx --data_path ./data/val/ --input_width 384 --input_height 384 --batch_size 16 --resize_size -1 --interpolation BICUBIC --device gcu

swin_base_patch4_window7_224-ms-op13-fp32-N.onnx

python3 main.py --frame onnx --model swin_transformer --model_path ./model/swin_base_patch4_window7_224-ms-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --interpolation BICUBIC --device gcu

swin_small_patch4_window7_224-ms-op13-fp32-N.onnx

python3 main.py --frame onnx --model swin_transformer --model_path ./model/swin_small_patch4_window7_224-ms-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --interpolation BICUBIC --device gcu

swin_tiny_patch4_window7_224-ms-op13-fp32-N.onnx

python3 main.py --frame onnx --model swin_transformer --model_path ./model/swin_tiny_patch4_window7_224-ms-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --interpolation BICUBIC --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--resize_size
--interpolation
--batch_size
--device

可以使用

python main.py --frame onnx --model swin_transformer -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下：

model

device

precision

acc1

acc5

swin_base_patch4_window12_384-ms-op13-fp32-N.onnx

CPU

fp32

0.8445

0.9695

swin_base_patch4_window7_224-ms-op13-fp32-N.onnx

CPU

fp32

0.8341

0.9644

swin_small_patch4_window7_224-ms-op13-fp32-N.onnx

CPU

fp32

0.8316

0.9622

swin_tiny_patch4_window7_224-ms-op13-fp32-N.onnx

CPU

fp32

0.8118

0.9551

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-swin_transformer

引用说明

  • Guan S, Khan A A, Sikdar S, et al. Fully dense UNet for 2-D sparse photoacoustic tomography artifact removal[J]. IEEE journal of biomedical and health informatics, 2019, 24(2): 568-576.

2.29. onnx-resnet

模型说明

  • 该模型代码存放于inference_models/onnx_models/resnet，相关文档存放于docs/model_docs/onnx_models/resnet。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 请按照inference_models/onnx_models/resnet/requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共4个， 应放置在./model，如缺少模型文件，可联系销售工程师获取

    • resnet18_v1.5-torchvision-op13-fp32-N.onnx

    • resnet34_v1.5-torchvision-op13-fp32-N.onnx

    • resnet50_v1.5-torchvision-op13-fp32-N.onnx

    • resnet50_v1.5-torchvision-op13-int8-gemm-perchannel-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model resnet-tv --model_path ./model/resnet50_v1.5-torchvision-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --resize_size 256 --device gcu

python3 main.py --frame onnx --model resnet-tv  --model_path ./model/resnet50_v1.5-torchvision-op13-int8-gemm-perchannel-N.onnx --data_path ./data/val/ --batch_size 1 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--resize_size
--device

可以使用

python3 main.py --frame onnx --model resnet-tv -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

acc1

acc5

resnet50_v1.5-torchvision-op13-fp32-N.onnx

CPU

0.7613

0.92862

resnet18_v1.5-torchvision-op13-fp32-N.onnx

CPU

0.69758

0.89078

resnet34_v1.5-torchvision-op13-fp32-N.onnx

CPU

0.73314

0.9142

resnet50_v1.5-torchvision-op13-int8-gemm-perchannel-N.onnx

GCU

0.75932

0.92828

ONNX模型文件导出说明

引用说明

2.30. onnx-yolov2-darknet

模型说明

  • 该模型代码存放于 inference_models/onnx_models/yolov4，相关文档存放于 docs/model_docs/onnx_models/yolov2。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 yolov2-608-darknet-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model yolov2-darknet --model_path ./model/yolov2-608-darknet-op13-fp32-N.onnx --data_path ./data/COCO --input_width 608 --input_height 608 --conf-thres 0.005 --iou-thres 0.45 --batch_size 16 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--conf-thres
--iou-thres
--batch_size
--device

可以使用

python main.py --frame onnx --model yolov2-darknet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

"mAP_bbox": ">=0.298 and <= 0.301"

ONNX模型文件导出说明

引用说明

2.31. onnx-densenet-tv

模型说明

  • 该模型代码存放于inference_models/onnx_models/densenet_tv，相关文档存放于docs/model_docs/onnx_models/densenet_tv。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 densenet121-torchvision-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model densenet-tv --model_path ./model/densenet121-torchvision-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --resize_size 256 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--resize_size
--device

可以使用

python3 main.py --frame onnx --model densenet-tv -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

acc1: >=0.744

ONNX模型文件导出说明

引用说明

2.32. onnx-ssd_resnet

模型说明

  • 该模型代码存放于inference_models/onnx_models/ssd_resnet，相关文档存放于docs/model_docs/onnx_models/ssd_resnet。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共2个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 ssd_resnet34_1200x1200_wo_nms-pt-op13-fp32-N.onnx ssd_resnet34_1200x1200_wo_nms_post-pt-op13-fp32.onnx

    ssd_resnet34_1200x1200_wo_nms-tf-op13-fp32-N.onnx ssd_resnet34_1200x1200_wo_nms_post-tf-op13-fp32.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model ssd_resnet --model_path ./model/ssd_resnet34_1200x1200_wo_nms-pt-op13-fp32-N.onnx,./model/ssd_resnet34_1200x1200_wo_nms_post-pt-op13-fp32.onnx --framework pt --data_path ./data/COCO --batch_size 1 --device cpu
python3 main.py --frame onnx --model ssd_resnet --model_path ./model/ssd_resnet34_1200x1200_wo_nms-tf-op13-fp32-N.onnx,./model/ssd_resnet34_1200x1200_wo_nms_post-tf-op13-fp32.onnx --framework tf --data_path ./data/COCO --batch_size 1 --device cpu

可配置的参数包括：

--model_path
--data_path
--batch_size
--device

可以使用

python3 main.py --frame onnx --model ssd_resnet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

precision

mAP_bbox

ssd_resnet34_1200x1200_wo_nms-pt-op13-fp32-N.onnx

CPU

fp32

0.1958

ssd_resnet34_1200x1200_wo_nms-tf-op13-fp32-N.onnx

CPU

fp32

0.223

ONNX模型文件导出说明

引用说明

2.33. onnx-wsdan

模型说明

  • 该模型代码存放于inference_models/onnx_models/wsdan，相关文档存放于docs/model_docs/onnx_models/wsdan。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-dfdc

  • 处理后的数据集应放置在 ./data/dfdc

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 wsdan-xception-pt-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model wsdan --model_path model/wsdan-xception-pt-op13-fp32-N.onnx --data_path data/dfdc/dataset.pkl --batch_size 128 --device cpu

可配置的参数包括：

--model_path
--data_path
--batch_size
--device

可以使用

python main.py --frame onnx --model wsdan -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

acc: 0.976

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-wsdan

引用说明

2.34. onnx-shufflenet_v1

模型说明

  • 该模型代码存放于inference_models/onnx_models/shufflenet_v1，相关文档存放于docs/model_docs/onnx_models/shufflenet_v1。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 shufflenet_v1-mmcls-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model shufflenetv1-mmcls  --model_path ./model/shufflenet_v1-mmcls-op13-fp32-N.onnx --data_path ./data/val/ --batch_size 1 --device cpu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--device

可以使用

python3 main.py --frame onnx --model shufflenetv1-mmcls -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

acc1

acc5

shufflenet_v1-mmcls-op13-fp32-N.onnx

CPU

0.6813

0.87808

ONNX模型文件导出说明

引用说明

2.35. onnx-bert-qa

模型说明

  • 该模型代码存放于inference_models/onnx_models/bert，相关文档存放于docs/model_docs/onnx_models/bert_qa。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型在bert问答任务SQUAD v1.1测试数据集上进行，数据集准备详见附录：数据准备-bert_qa

  • 处理后的数据集应放置在./data/bert_qa/

  • 预训练模型共4个， 应放置在./model，如缺少模型文件，可联系销售工程师获取

    • bert_base-squad-nvidia-op13-fp32-N.onnx

    • bert_base-squad-google-op13-fp32-N.onnx

    • bert_large-squad-mlperf-op13-fp32-N.onnx

    • bert_base-squad-google-op13-int8-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

  • cpu accuracy

  • nvidia

python3 main.py --frame onnx --model bert-qa --model_path ./model/bert_base-squad-nvidia-op13-fp32-N.onnx --predict_file ./data/bert_qa/dev-v1.1.json --batch_size 2 --device cpu --model_ver nvidia --vocab_file ./data/bert_qa/vocab.txt --eval_script ./data/bert_qa/evaluate-v1.1.py

  • google

python3 main.py --frame onnx --model bert-qa --model_path ./model/bert_base-squad-google-op13-fp32-N.onnx --predict_file ./data/bert_qa/dev-v1.1.json --batch_size 2 --device cpu --model_ver google --vocab_file ./data/bert_qa/vocab.txt --eval_script ./data/bert_qa/evaluate-v1.1.py

  • mlperf

python3 main.py --frame onnx --model bert-qa --model_path ./model/bert_large-squad-mlperf-op13-fp32-N.onnx --predict_file ./data/bert_qa/dev-v1.1.json --batch_size 2 --device cpu --model_ver mlperf --vocab_file ./data/bert_qa/vocab.txt --eval_script ./data/bert_qa/evaluate-v1.1.py

  • gcu accuracy

  • nvidia

python3 main.py --frame onnx --model bert-qa --model_path ./model/bert_base-squad-nvidia-op13-fp32-N.onnx --predict_file ./data/bert_qa/dev-v1.1.json --batch_size 2 --device gcu --model_ver nvidia --vocab_file ./data/bert_qa/vocab.txt --eval_script ./data/bert_qa/evaluate-v1.1.py

  • google

python3 main.py --frame onnx --model bert-qa --model_path ./model/bert_base-squad-google-op13-fp32-N.onnx --predict_file ./data/bert_qa/dev-v1.1.json --batch_size 2 --device gcu --model_ver google --vocab_file ./data/bert_qa/vocab.txt --eval_script ./data/bert_qa/evaluate-v1.1.py

  • mlperf

python3 main.py --frame onnx --model bert-qa --model_path ./model/bert_large-squad-mlperf-op13-fp32-N.onnx --predict_file ./data/bert_qa/dev-v1.1.json --batch_size 2 --device gcu --model_ver mlperf --vocab_file ./data/bert_qa/vocab.txt --eval_script ./data/bert_qa/evaluate-v1.1.py

  • google int8

export ORT_TOPSINFERENCE_FP16_ENABLE=0
python3 main.py --frame onnx --model bert-qa --model_path ./model/bert_base-squad-google-op13-int8-N.onnx --predict_file ./data/bert_qa/dev-v1.1.json --batch_size 2 --device gcu --model_ver google --vocab_file ./data/bert_qa/vocab.txt --eval_script ./data/bert_qa/evaluate-v1.1.py

可配置的参数包括：

--model_path
--predict_file
--batch_size
--device
--max_seq_len

可以使用

python main.py --frame onnx --model bert-qa -h

获取相应的参考信息

模型文件与精度标准

  • nvidia模型的评价指标包括以下，

exact_match: >=81.43264 and <=81.63264,
f1: >=88.54774 and <=88.74774

  • google模型的评价指标包括以下，

exact_match: >=81.15872 and <=81.35872,
f1: >=88.55328 and <=88.75328

  • mlperf模型的评价指标包括以下，

exact_match: >=83.58968 and <=83.78968,
f1: >=90.77487 and <=90.97487

  • google int8模型的评价指标包括以下，

exact_match: >=78.499811 and <=78.699811,
f1: >=80.250047 and <=80.450047

ONNX模型文件导出说明

引用说明

2.36. onnx-bert-classification

模型说明

  • 该模型代码存放于 inference_models/onnx_models/bert_crf，相关文档存放于 docs/model_docs/onnx_models/bert_crf。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型在bert分类任务测试，数据集准备详见附录：数据准备-china-people-daily-ner-corpus

  • 处理后的数据集应放置在./data/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 bert_base-bert4torch-without-crf-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model bert_crf --model_path ./model/bert_base-bert4torch-without-crf-op13-fp32-N.onnx --data_path ./data/china-people-daily-ner-corpus/example.dev --vocab_path model/bert_crf/vocab.txt --batch_size 64 --device gcu

可配置的参数包括：

--model_path
--data_path
--conf_file
--batch_size
--device
--max_seq_len

可以使用

python main.py --frame onnx --model bert_crf -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

"F1(token level)": ">=0.968 and <=0.970",
"Precision(token level)": ">=0.967 and <=0.969",
"Recall(token level)": ">=0.969 and <=0.971",
"F1(entity level)": ">=0.958 and <=0.960",
"Precision(entity level)": ">=0.958 and <=0.960",
"Recall(entity level)": ">=0.957 and <=0.959"

ONNX模型文件导出说明

引用说明

2.37. onnx-shufflenet_v2

模型说明

  • 该模型代码存放于inference_models/onnx_models/shufflenet_v2，相关文档存放于docs/model_docs/onnx_models/shufflenet_v2。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共4个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 shufflenet_v2-torchvision-op13-fp32-N-x0_5.onnx shufflenet_v2-torchvision-op13-fp32-N-x1_0.onnx shufflenet_v2-torchvision-op13-fp32-N-x1_5.onnx shufflenet_v2-torchvision-op13-fp32-N-x2_0.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model shufflenetv2-tv  --model_path ./model/shufflenet_v2-torchvision-op13-fp32-N-x0_5.onnx --data_path ./data/val/ --batch_size 1 --device cpu

python3 main.py --frame onnx --model shufflenetv2-tv  --model_path ./model/shufflenet_v2-torchvision-op13-fp32-N-x1_0.onnx --data_path ./data/val/ --batch_size 1 --device cpu

python3 main.py --frame onnx --model shufflenetv2-tv  --model_path ./model/shufflenet_v2-torchvision-op13-fp32-N-x1_5.onnx --data_path ./data/val/ --batch_size 1 --device cpu --resize 232

python3 main.py --frame onnx --model shufflenetv2-tv  --model_path ./model/shufflenet_v2-torchvision-op13-fp32-N-x2_0.onnx --data_path ./data/val/ --batch_size 1 --device cpu --resize 232

可配置的参数包括：

--model_path
--data_path
--batch_size
--device

可以使用

python3 main.py --frame onnx --model shufflenetv2-tv -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

acc1

acc5

shufflenet_v2-torchvision-op13-fp32-N-x0_5.onnx

CPU

0.60552

0.81736

shufflenet_v2-torchvision-op13-fp32-N-x1_0.onnx

CPU

0.69356

0.88314

shufflenet_v2-torchvision-op13-fp32-N-x1_5.onnx

CPU

0.72984

0.91088

shufflenet_v2-torchvision-op13-fp32-N-x2_0.onnx

CPU

0.76228

0.93006

ONNX模型文件导出说明

引用说明

2.38. onnx-mobilenetv3-tv

模型说明

  • 该模型代码存放于inference_models/onnx_models/mobilenet_v3，相关文档存放于docs/model_docs/onnx_models/mobilenet_v3。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共2个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 mobilenet_v3_large-torchvision-op13-fp32-N.onnx mobilenet_v3_small-torchvision-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

mobilenet_v3_large-torchvision-op13-fp32-N.onnx

python3 main.py --frame onnx --model mobilenetv3-tv --model_path ./model/mobilenet_v3_large-torchvision-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 32 --device gcu

mobilenet_v3_small-torchvision-op13-fp32-N.onnx

python3 main.py --frame onnx --model mobilenetv3-tv --model_path ./model/mobilenet_v3_small-torchvision-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 32 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--device

可以使用

python main.py --frame onnx --model mobilenetv3-tv -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

mobilenet_v3_large-torchvision-op13-fp32-N.onnx

acc1: >=0.740
acc5: >=0.913

mobilenet_v3_small-torchvision-op13-fp32-N.onnx

acc1: >=0.676
acc5: >=0.874

ONNX模型文件导出说明

引用说明

2.39. onnx-ssd_mobilenetv2

模型说明

  • 该模型代码存放于inference_models/onnx_models/ssd_mobilenetv2，相关文档存放于docs/model_docs/onnx_models/ssd_mobilenetv2。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 ssd_mobilenet_v2_wo_post-tf-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model ssd_mobilenetv2 --model_path ./model/ssd_mobilenet_v2_wo_post-tf-op13-fp32-N.onnx --data_path ./data/COCO --batch_size 1 --device gcu

可配置的参数包括：

--model_path
--data_path
--batch_size
--device

可以使用

python3 main.py --frame onnx --model ssd_mobilenetv2 -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

mAP_bbox: >=0.194

ONNX模型文件导出说明

引用说明

2.40. onnx-mobilenetv2-tv

模型说明

  • mobilenetv2在mobilenetv1的基础上保持了简单性，同时又显著提高了精度，在移动应用的多图像分类和检测任务上达到了较优的效果。其主要贡献是一个新的层模块：具有线性瓶颈的倒置残差，该模块将输入的低维压缩表示首先扩展到高维并用轻量级深度卷积进行过滤。随后用线性卷积将特征投影回低维表示。

  • 该模型代码存放于inference_models/onnx_models/mobilenet_v2，相关文档存放于docs/model_docs/onnx_models/mobilenet_v2。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/val

  • 预训练模型共1个，应放置在./model，如缺少模型文件，可联系销售工程师获取

    • mobilenet_v2-torchvision-op13-fp32-N.onnx

步骤3：执行脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model mobilenetv2-tv --model_path ./model/mobilenet_v2-torchvision-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--device

可以使用

python main.py --frame onnx --model mobilenetv2-tv -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下：

model

device

precision

acc1

acc5

mobilenet_v2-torchvision-op13-fp32-N.onnx

GCU

fp16_mix

>=0.718

>=0.902

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-mobilenet_v2

引用说明

  • Sandler M, Howard A, Zhu M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 4510-4520.

2.41. onnx-scaled_yolov4

模型说明

  • 该模型代码存放于 inference_models/onnx_models/scaled_yolov4，相关文档存放于 docs/model_docs/onnx_models/scaled_yolov4。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共4个， 应放置在./model，如缺少模型文件，可联系销售工程师获取

    yolov4-csp-640-op13-fp32-N.onnx
yolov4-p5-op13-fp32-N.onnx
yolov4-p6-op13-fp32-N.onnx
yolov4-p7-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model scaled_yolov4 --model_path ./model/yolov4-csp-640-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.65 --batch_size 32 --device gcu

python3 main.py --frame onnx --model scaled_yolov4 --model_path ./model/yolov4-p5-op13-fp32-N.onnx --data_path ./data/COCO --input_width 896 --input_height 896 --conf-thres 0.001 --iou-thres 0.65 --batch_size 32 --device gcu

python3 main.py --frame onnx --model scaled_yolov4 --model_path ./model/yolov4-p6-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.65 --batch_size 4 --device gcu

python3 main.py --frame onnx --model scaled_yolov4 --model_path ./model/yolov4-p7-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1536 --input_height 1536 --conf-thres 0.001 --iou-thres 0.65 --batch_size 4 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--conf-thres
--iou-thres
--batch_size
--device

可以使用

python main.py --frame onnx --model scaled_yolov4 -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

yolov4-csp-640-op13-fp32-N.onnx    "mAP_bbox": ">=0.480 and <=0.482"
yolov4-p5-op13-fp32-N.onnx         "mAP_bbox": ">=0.503 and <=0.505"
yolov4-p6-op13-fp32-N.onnx         "mAP_bbox": ">=0.531 and <=0.533"
yolov4-p7-op13-fp32-N.onnx         "mAP_bbox": ">=0.543 and <=0.545"

ONNX模型文件导出说明

引用说明

2.42. onnx-resnext-tv

模型说明

  • 该模型代码存放于inference_models/onnx_models/resnext_tv，相关文档存放于docs/model_docs/onnx_models/resnext_tv。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 resnext50_32x4d-torchvision-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model resnext-tv --model_path ./model/resnext50_32x4d-torchvision-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--device

可以使用

python3 main.py --frame onnx --model resnext-tv -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

acc1: >=0.77508 and <=0.77708

ONNX模型文件导出说明

引用说明

2.43. onnx-wavenet

模型说明

  • wavenet模型是一个图像分割网络。它提出了一种用于医学图像分割的网络模型和数据增强方法，有效利用标注数据来解决医学领域标注数据不足的问题，同时利用U型网络结构获取上下文信息和位置信息。

  • 该模型代码存放于inference_models/onnx_models/wavenet，相关文档存放于docs/model_docs/onnx_models/wavenet。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-VCTK_Corpus

  • 处理后的数据集应放置在./data/VCTK-Corpus/

  • 预训练模型共1个，应放置在./model，如缺少模型文件，可联系销售工程师获取

    • wavenet-tf-op13-fp32.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

  • 通过参数--infer_type evaluate执行评估，计算预测值与真实值的交叉熵损失

export ORT_TOPSINFERENCE_FP16_ENABLE=0
python3 main.py --frame onnx --model wavenet --model_path ./model/wavenet-tf-op13-fp32.onnx --data_path ./data/VCTK-Corpus/ --device gcu --infer_type evaluate

  • 通过参数--infer_type inference执行推理生成音频，并通过参数--wav_seed给定一段初始音频

export ORT_TOPSINFERENCE_FP16_ENABLE=0
python3 main.py --frame onnx --model wavenet --model_path ./model/wavenet-tf-op13-fp32.onnx --data_path ./data/VCTK-Corpus/ --device gcu --infer_type inference --wav_seed data/VCTK-Corpus/wav48/p225/p225_001.wav --samples 48000 --wav_out_path wav_out/p225_gen_gcu.wav --step 1

  • 通过参数--infer_type inference执行推理生成音频，使用随机数生成

export ORT_TOPSINFERENCE_FP16_ENABLE=0
python3 main.py --frame onnx --model wavenet --model_path ./model/wavenet-tf-op13-fp32.onnx --data_path ./data/VCTK-Corpus/ --device gcu --infer_type inference --samples 48000 --wav_out_path wav_out/random_gen_gcu.wav --step 1

可配置的参数包括：

--model_path
--data_path
--device
--infer_type
--wav_seed
--samples
--wav_out_path
--step

可以使用

python main.py --frame onnx --model onnx-wavenet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下：

通过参数--infer_type evaluate执行评估获得以下指标

model

device

precision

cross_entropy

wavenet-tf-op13-fp32.onnx

GCU

fp32

<=2.87

通过参数--infer_type inference执行推理生成音频

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-wavenet

引用说明

2.44. onnx-yolov5

模型说明

  • 该模型代码存放于 inference_models/onnx_models/yolov5，相关文档存放于 docs/model_docs/onnx_models/yolov5。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共21个， 应放置在./model，如缺少模型文件，可联系销售工程师获取

    yolov5n-v6.0-640-op13-fp32-N.onnx
yolov5n6-v6.0-1280-op13-fp32-N.onnx
yolov5n-v6.2-op13-fp32-N.onnx
yolov5n6-v6.2-op13-fp32-N.onnx

yolov5s-v6.0-640-op13-fp32-N.onnx
yolov5s6-v6.0-1280-op13-fp32-N.onnx
yolov5s-v6.2-op13-fp32-N.onnx
yolov5s6-v6.2-op13-fp32-N.onnx

yolov5m-v6.0-640-op13-fp32-N.onnx
yolov5m6-v6.0-1280-op13-fp32-N.onnx
yolov5m-v6.2-op13-fp32-N.onnx
yolov5m6-v6.2-op13-fp32-N.onnx

yolov5l-v6.0-640-op13-fp32-N.onn
yolov5l6-v6.0-1280-op13-fp32-N.onnx
yolov5l-v6.2-op13-fp32-N.onnx
yolov5l6-v6.2-op13-fp32-N.onnx

yolov5x-v6.0-640-op13-int8-N.onnx
yolov5x-v6.0-640-op13-fp32-N.onnx
yolov5x6-v6.0-1280-op13-fp32-N.onnx
yolov5x-v6.2-op13-fp32-N.onnx
yolov5x6-v6.2-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，yolov5的各个onnx模型可以参考以下命令进行推理:

python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5n-v6.0-640-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5n-v6.2-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5s-v6.0-640-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5s-v6.2-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5m-v6.0-640-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5m-v6.2-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5l-v6.0-640-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5l-v6.2-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5x-v6.0-640-op13-int8-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5x-v6.0-640-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5x-v6.2-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu

python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5n6-v6.0-1280-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5n6-v6.2-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5s6-v6.0-1280-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5s6-v6.2-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5m6-v6.0-1280-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5m6-v6.2-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5l6-v6.0-1280-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280--input_height 1280 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5l6-v6.2-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5x6-v6.0-1280-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280--input_height 1280--conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu
python3 main.py --frame onnx --model yolov5 --model_path ./model/yolov5x6-v6.2-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.6 --batch_size 32 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--conf-thres
--iou-thres
--batch_size
--device

可以使用

python main.py --frame onnx --model yolov5 -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

yolov5n-v6.0-640-op13-fp32-N.onnx       "mAP_bbox": ">=0.282 and <=0.284"
yolov5n-v6.2-op13-fp32-N.onnx   "mAP_bbox": ">=0.280 and <=0.282"
yolov5n6-v6.0-1280-op13-fp32-N.onnx     "mAP_bbox": ">=0.337 and <=0.339"
yolov5n6-v6.2-op13-fp32-N.onnx  "mAP_bbox": ">=0.357 and <=0.359"
yolov5s-v6.0-640-op13-fp32-N.onnx       "mAP_bbox": ">=0.369 and <=0.371"
yolov5s-v6.2-op13-fp32-N.onnx   "mAP_bbox": ">=0.373 and <=0.375"
yolov5s6-v6.0-1280-op13-fp32-N.onnx     "mAP_bbox": ">=0.440 and <=0.442"
yolov5s6-v6.2-op13-fp32-N.onnx  "mAP_bbox": ">=0.443 and <=0.445"
yolov5m-v6.0-640-op13-fp32-N.onnx       "mAP_bbox": ">=0.446 and <=0.448"
yolov5m-v6.2-op13-fp32-N.onnx   "mAP_bbox": ">=0.449 and <=0.451"
yolov5m6-v6.0-1280-op13-fp32-N.onnx     "mAP_bbox": ">=0.504 and <=0.506"
yolov5m6-v6.2-op13-fp32-N.onnx  "mAP_bbox": ">=0.507 and <=0.509"
yolov5l-v6.0-640-op13-fp32-N.onnx       "mAP_bbox": ">=0.482 and <=0.484"
yolov5l-v6.2-op13-fp32-N.onnx   "mAP_bbox": ">=0.485 and <=0.487"
yolov5l6-v6.0-1280-op13-fp32-N.onnx      "mAP_bbox": ">=0.530 and <=0.532"
yolov5l6-v6.2-op13-fp32-N.onnx  "mAP_bbox": ">=0.530 and <=0.532"
yolov5x-v6.0-640-op13-fp32-N.onnx       "mAP_bbox": ">=0.501 and <=0.503"
yolov5x-v6.0-640-op13-int8-N.onnx       "mAP_bbox": ">=0.489 and <=0.491"
yolov5x-v6.2-op13-fp32-N.onnx   "mAP_bbox": ">=0.501 and <=0.503"
yolov5x6-v6.0-1280-op13-fp32-N.onnx     "mAP_bbox": ">=0.541 and <=0.543"
yolov5x6-v6.2-op13-fp32-N.onnx  "mAP_bbox": ">=0.543 and <=0.545"

ONNX模型文件导出说明

引用说明

2.45. onnx-ernie-pp

模型说明

  • 该模型代码存放于inference_models/onnx_models/ernie，相关文档存放于docs/model_docs/onnx_models/ernie。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-ernie

  • 处理后的数据集应放置在./data/ernie/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 ernie_3.0_base_ch-classification-opset13-fp32-seqN.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model ernie-pp --model_path ./model/ernie_3.0_base_ch-classification-opset13-fp32-seqN.onnx  --data_path ./data/ernie  --batch_size 1 --device gcu

可配置的参数包括：

--model_path
--data_path
--batch_size
--device
--max_seq_len

可以使用

python main.py --frame onnx --model ernie-pp -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

acc: >=0.88789 and <=0.88989

ONNX模型文件导出说明

引用说明

2.46. onnx-facenet

模型说明

  • 该模型代码存放于inference_models/onnx_models/facenet，相关文档存放于docs/model_docs/onnx_models/facenet。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-lfw

  • 处理后的数据集应放置在 ./data/lfw/

  • 预训练模型共2个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 facenet-vggface-op13-fp32-N.onnx facenet-inceptionv1-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model facenet --model_path ./model/facenet-vggface-op13-fp32-N.onnx --data_path ./data/lfw --batch_size 128 --device cpu
python3 main.py --frame onnx --model facenet --model_path ./model/facenet-inceptionv1-op13-fp32-N.onnx --data_path ./data/lfw --batch_size 128 --device cpu

可配置的参数包括：

--model_path
--data_path
--batch_size
--device

可以使用

python main.py --frame onnx --model facenet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

facenet-vggface-op13-fp32-N.onnx

acc: 0.995

facenet-inceptionv1-op13-fp32-N.onnx

acc: 0.990

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-facenet

引用说明

2.47. onnx-deeplabv3

模型说明

  • 该模型代码存放于inference_models/onnx_models/deeplabv3，相关文档存放于docs/model_docs/onnx_models/deeplabv3。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-voc

  • 处理后的数据集应放置在data

  • 预训练模型共5个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 deeplabv3-mobilenetv3-pt-op13-fp32-N.onnx deeplabv3-resnet50-pt-op13-fp32-N.onnx deeplabv3-resnet101-pt-op13-fp32-N.onnx deeplabv3-mobilenetv2-tf-op13-fp32.onnx deeplabv3-xception-tf-op13-fp32.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model deeplabv3 --model_path model/deeplabv3-mobilenetv3-pt-op13-fp32-N.onnx --data_path data --batch_size 4 --version pt --fixed_size --device cpu
python3 main.py --frame onnx --model deeplabv3 --model_path model/deeplabv3-resnet50-pt-op13-fp32-N.onnx --data_path data --batch_size 4 --version pt --fixed_size --device cpu
python3 main.py --frame onnx --model deeplabv3 --model_path model/deeplabv3-resnet101-pt-op13-fp32-N.onnx --data_path data --batch_size 4 --version pt --fixed_size --device cpu
python3 main.py --frame onnx --model deeplabv3 --model_path model/deeplabv3-mobilenetv2-tf-op13-fp32.onnx --data_path data --batch_size 1 --version tf --fixed_size --device cpu
python3 main.py --frame onnx --model deeplabv3 --model_path model/deeplabv3-xception-tf-op13-fp32.onnx --data_path data --batch_size 1 --version tf --fixed_size --device cpu

可配置的参数包括：

--model_path
--data_path
--batch_size
--version
--fixed_size
--device

可以使用

python main.py --frame onnx --model deeplabv3 -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

deeplabv3-mobilenetv3-pt-op13-fp32-N.onnx

mean iou: 0.667731

deeplabv3-resnet50-pt-op13-fp32-N.onnx

mean iou: 0.740166

deeplabv3-resnet101-pt-op13-fp32-N.onnx

mean iou: 0.747849

deeplabv3-mobilenetv2-tf-op13-fp32.onnx

mean iou: 0.670550

deeplabv3-xception-tf-op13-fp32.onnx

mean iou: 0.751357

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-deeplabv3

引用说明

2.48. onnx-mobilenetv1-tf

模型说明

  • 该模型代码存放于inference_models/onnx_models/mobilenet_v1，相关文档存放于docs/model_docs/onnx_models/mobilenet_v1。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 mobilenet_v1-tf-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model mobilenetv1-tf --model_path ./model/mobilenet_v1-tf-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 32 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--device

可以使用

python main.py --frame onnx --model mobilenetv1-tf -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

acc1: >=0.712
acc5: >=0.898

ONNX模型文件导出说明

引用说明

2.49. onnx-minigo

模型说明

  • 该模型代码存放于inference_models/onnx_models/minigo，相关文档存放于docs/model_docs/onnx_models/minigo。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-minigo

  • 处理后的数据集应放置在data

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 minigo-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model minigo --model_path model/minigo-op13-fp32-N.onnx --data_path data/data --batch_size 1 --device cpu

可配置的参数包括：

--model_path
--data_path
--batch_size
--device

可以使用

python3 main.py --frame onnx --model minigo -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

acc1: 0.751
acc3: 0.908

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-minigo

引用说明

2.50. onnx-vgg16-tv

模型说明

  • 该模型代码存放于inference_models/onnx_models/vgg，相关文档存放于docs/model_docs/onnx_models/vgg。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 vgg16-torchvision-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model vgg16-tv --model_path ./model/vgg16-torchvision-op13-fp32-N.onnx --data_path ./data/val/ --input_width 224 --input_height 224 --batch_size 16 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--device

可以使用

python main.py --frame onnx --model vgg16-tv -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

acc1: >=0.714 and <=0.716
acc5: >=0.902 and <=0.904

ONNX模型文件导出说明

引用说明

2.51. onnx-timesformer

模型说明

  • 该模型代码存放于inference_models/onnx_models/timesformer，相关文档存放于docs/model_docs/onnx_models/timesformer。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-kinetics400

  • 处理后的数据集应放置在 ./data/kinetics400

  • 预训练模型共3个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 timesformer-divst-pt-op13-fp32.onnx timesformer-jointst-pt-op13-fp32.onnx timesformer-spaceonly-pt-op13-fp32.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model timesformer --model_path ./model/timesformer-divst-pt-op13-fp32.onnx --data_path ./data/kinetics400 --version divst --device cpu
python3 main.py --frame onnx --model timesformer --model_path ./model/timesformer-jointst-pt-op13-fp32.onnx --data_path ./data/kinetics400 --version jointst --device cpu
python3 main.py --frame onnx --model timesformer --model_path ./model/timesformer-spaceonly-pt-op13-fp32.onnx --data_path ./data/kinetics400 --version spaceonly --device cpu

可配置的参数包括：

--model_path
--data_path
--version
--device

可以使用

python main.py --frame onnx --model timesformer -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

timesformer-divst-pt-op13-fp32.onnx

acc1: 0.7598
acc5: 0.9236

timesformer-jointst-pt-op13-fp32.onnx

acc1: 0.7523
acc5: 0.9221

timesformer-spaceonly-pt-op13-fp32.onnx

acc1: 0.7521
acc5: 0.9205

ONNX模型文件导出说明

当前文档提供的模型为基于开源数据集导出。如果根据自身场景训练完成后，ONNX模型的导出方式参考附录：ONNX导出说明-timesformer

引用说明

2.52. onnx-regnet

模型说明

  • 该模型代码存放于 inference_models/onnx_models/regnet，相关文档存放于 docs/model_docs/onnx_models/regnet。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 请按照inference_models/onnx_models/resnet/requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-imagenet

  • 处理后的数据集应放置在./data/

  • 预训练模型共4个， 应放置在./model，如缺少模型文件，可联系销售工程师获取

    • RegNetY-8.0GF-op13-fp32-N.onnx

    • RegNetX-8.0GF-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model regnet  --model_path ./model/RegNetY-8.0GF-op13-fp32-N.onnx --data_path ./data/val/ --input_width 256 --input_height 256 --resize_size 256 --batch_size 16 --device gcu

python3 main.py --frame onnx --model regnet  --model_path ./model/RegNetX-8.0GF-op13-fp32-N.onnx --data_path ./data/val/ --input_width 256 --input_height 256 --resize_size 256 --batch_size 16 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--batch_size
--resize_size
--device

可以使用

python3 main.py --frame onnx --model regnet -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

    RegNetY-8.0GF-op13-fp32-N.onnx:
     "acc1": ">=0.798 and <=0.800",
     "acc5": ">=0.948 and <=0.950"

RegNetX-8.0GF-op13-fp32-N.onnx:
      "acc1": ">=0.791 and <=0.793",
      "acc5": ">=0.944 and <=0.946"

ONNX模型文件导出说明

引用说明

2.53. onnx-arcface

模型说明

  • 该模型代码存放于inference_models/onnx_models/arcface，相关文档存放于docs/model_docs/onnx_models/arcface。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-MS1M_ArcFace

  • 处理后的数据集应放置在./data

  • 预训练模型共1个， 应放置在./model，如缺少模型文件，可联系销售工程师获取 resnet100-onnxmodelzoo-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model arcface --model_path=./model/resnet100-onnxmodelzoo-op13-fp32-N.onnx --data_path=./data --target lfw --batch_size 128 --device cpu
python3 main.py --frame onnx --model arcface --model_path=./model/resnet100-onnxmodelzoo-op13-fp32-N.onnx --data_path=./data --target cfp_ff --batch_size 128 --device cpu
python3 main.py --frame onnx --model arcface --model_path=./model/resnet100-onnxmodelzoo-op13-fp32-N.onnx --data_path=./data --target cfp_fp --batch_size 128 --device cpu
python3 main.py --frame onnx --model arcface --model_path=./model/resnet100-onnxmodelzoo-op13-fp32-N.onnx --data_path=./data --target agedb_30 --batch_size 128 --device cpu

可配置的参数包括：

--model_path
--data_path
--target
--batch_size
--device

可以使用

python3 main.py --frame onnx --model arcface -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

model

device

precision

lfw

cfp_ff

cfp_fp

agedb_30

resnet100-onnxmodelzoo-op13-fp32-N.onnx

CPU

fp32

0.998±0.003

0.998±0.003

0.941±0.011

0.979±0.007

ONNX模型文件导出说明

引用说明

2.54. onnx-yolov7

模型说明

  • 该模型代码存放于 inference_models/onnx_models/yolov7，相关文档存放于 docs/model_docs/onnx_models/yolov7。该代码和文档会随TopsRider Sample包给到用户使用。

使用步骤

步骤1：安装依赖

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，TopsRider提供了tops-inference.deb、onnxruntime-gcu的安装包。完成TopsRider软件栈安装，即完成推理所需要基础环境的安装。

  • 如代码目录下存在requirements.txt文件，请按照requirements.txt中所示下载相应的依赖库

步骤2：准备数据集和预训练模型

  • 模型数据集准备详见附录：数据准备-coco2017

  • 处理后的数据集应放置在./data/COCO

  • 预训练模型共6个， 应放置在./model，如缺少模型文件，可联系销售工程师获取

    yolov7-op13-fp32-N.onnx
yolov7-x-op13-fp32-N.onnx
yolov7-d6-op13-fp32-N.onnx
yolov7-e6-op13-fp32-N.onnx
yolov7-e6e-op13-fp32-N.onnx
yolov7-w6-op13-fp32-N.onnx

步骤3：执行精度验证脚本

每一个模型我们都提供了精度验证脚本，帮助用户确认精度和CPU对齐。在确认依赖全部安装完成，数据集和预训练模型下载并存放在期望位置后，可以使用以下命令执行模型

python3 main.py --frame onnx --model yolov7 --model_path ./model/yolov7-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.65 --batch_size 32 --device gcu

python3 main.py --frame onnx --model yolov7 --model_path ./model/yolov7-x-op13-fp32-N.onnx --data_path ./data/COCO --input_width 640 --input_height 640 --conf-thres 0.001 --iou-thres 0.65 --batch_size 32 --device gcu

python3 main.py --frame onnx --model yolov7 --model_path ./model/yolov7-w6-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.65 --batch_size 32 --device gcu

python3 main.py --frame onnx --model yolov7 --model_path ./model/yolov7-d6-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.65 --batch_size 32 --device gcu

python3 main.py --frame onnx --model yolov7 --model_path ./model/yolov7-e6-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.65 --batch_size 32 --device gcu

python3 main.py --frame onnx --model yolov7 --model_path ./model/yolov7-e6e-op13-fp32-N.onnx --data_path ./data/COCO --input_width 1280 --input_height 1280 --conf-thres 0.001 --iou-thres 0.65 --batch_size 32 --device gcu

可配置的参数包括：

--model_path
--data_path
--input_width
--input_height
--conf-thres
--iou-thres
--batch_size
--device

可以使用

python main.py --frame onnx --model yolov7 -h

获取相应的参考信息

模型文件与精度标准

  • 该模型的评价指标包括以下:

yolov7-op13-fp32-N.onnx       "mAP_bbox": ">=0.508 and <=0.510"
yolov7-x-op13-fp32-N.onnx     "mAP_bbox": ">=0.525 and <=0.527"
yolov7-d6-op13-fp32-N.onnx    "mAP_bbox": ">=0.559 and <=0.561"
yolov7-e6-op13-fp32-N.onnx    "mAP_bbox": ">=0.556 and <=0.558"
yolov7-e6e-op13-fp32-N.onnx   "mAP_bbox": ">=0.564 and <=0.566"
yolov7-w6-op13-fp32-N.onnx    "mAP_bbox": ">=0.542 and <=0.544"

ONNX模型文件导出说明

引用说明