模型推理精度测试手册¶
声明
本文档提供的信息属于上海燧原科技有限公司和/或其子公司(以下统称“燧原科技”)所有,且燧原科技保留不经通知随时对本文档信息或对任何产品和服务做出修改的权利。本文档所含信息和本文档所引用燧原科技其他信息均“按原样”提供。燧原科技不担保信息、文本、图案、链接或本文档内所含其他项目的准确性或完整性。燧原科技不对本文档所述产品的可销售性、所有权、不侵犯知识产权、准确性、完整性、稳定性或特定用途适用性做任何暗示担保、保证。燧原科技可不经通知随时对本文档或本文档所述产品做出更改,但不承诺更新本文档。
在任何情况下,燧原科技不对因使用或无法使用本文档而导致的任何损害(包括但不限于利润损失、业务中断和信息损失等损害)承担责任。燧原科技不承担因应用或使用本文档所述任何产品或服务而产生的任何责任。
本文档所列的规格参数、性能数据和等级需使用特定芯片或计算机系统或组件来测量。经该等测试,本文档所示结果反映了燧原科技产品的大概性能。系统配置及软硬件版本、环境变量等的任何不同会影响实际性能,产品实际效果与文档描述存在差异的,均属正常现象。燧原科技不担保测试每种产品的所有参数。客户自行承担对产品适合并适用于客户计划的应用以及对应用程序进行必要测试的责任。客户产品设计的脆弱性会影响燧原科技产品的质量和可靠性并导致超出本文档范围的额外或不同的情况和/或要求。
燧原科技和燧原科技的标志是上海燧原科技有限公司申请和/或注册的商标。本文档并未明示或暗示地授予客户任何专利、版权、商标、集成电路布图设计、商业秘密或任何其他燧原科技知识产权的权利或许可。
本文档为版权所有并受全世界版权法律和条约条款的保护。未经燧原科技的事先书面许可,任何人不可以任何方式复制、修改、出版、上传、发布、传输或分发本文档。为免疑义,除了允许客户按照本文档要求使用文档相关信息外,燧原科技不授予其他任何明示或暗示的权利或许可。
燧原科技对本文档享有最终解释权。
目录
- 1. 总览说明
- 2. 模型推理使用说明
- 2.1. topsinference-ppyolo
- 2.2. rnnt
- 2.3. topsinference-gpt2_en
- 2.4. topsinference-resnet-tv
- 2.5. topsinference-maskrcnn
- 2.6. topsinference-fasterrcnn
- 2.7. sam-prompt
- 2.8. topsinference-retinaface
- 2.9. sam-automask
- 2.10. topsinference-retinanet
- 2.11. topsinference-ssdlite_mobilenetv1
- 2.12. topsinference-deeplabv3
- 2.13. topsinference-efficientnet
- 2.14. topsinference-cascadercnn
- 2.15. onnx-yolov4-darknet
- 2.16. onnx-vgg16-tf
- 2.17. onnx-resnet_tf
- 2.18. onnx-densenet-caffe
- 2.19. onnx-yolox
- 2.20. onnx-yolov3-darknet
- 2.21. onnx-ghostnet
- 2.22. onnx-srresnet
- 2.23. onnx-hcnet
- 2.24. onnx-stgcn
- 2.25. onnx-inception-tf
- 2.26. onnx-2dunet
- 2.27. onnx-conformer
- 2.28. onnx-swin_transformer
- 2.29. onnx-resnet
- 2.30. onnx-yolov2-darknet
- 2.31. onnx-densenet-tv
- 2.32. onnx-ssd_resnet
- 2.33. onnx-wsdan
- 2.34. onnx-shufflenet_v1
- 2.35. onnx-bert-qa
- 2.36. onnx-bert-classification
- 2.37. onnx-shufflenet_v2
- 2.38. onnx-mobilenetv3-tv
- 2.39. onnx-ssd_mobilenetv2
- 2.40. onnx-mobilenetv2-tv
- 2.41. onnx-scaled_yolov4
- 2.42. onnx-resnext-tv
- 2.43. onnx-wavenet
- 2.44. onnx-yolov5
- 2.45. onnx-ernie-pp
- 2.46. onnx-facenet
- 2.47. onnx-deeplabv3
- 2.48. onnx-mobilenetv1-tf
- 2.49. onnx-minigo
- 2.50. onnx-vgg16-tv
- 2.51. onnx-timesformer
- 2.52. onnx-regnet
- 2.53. onnx-arcface
- 2.54. onnx-yolov7
- 3. 附录:onnx导出说明
- 3.1. emanet_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.2. agw-r101-pt-op13-fp32.onnx 转换
- 3.3. dnl_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32.onnx导出
- 3.4. tsm-r50-pt-op13-fp32.onnx 导出
- 3.5. tsm-r50-official-op13-fp32.onnx 导出
- 3.6. ghostnet-tf-op13-fp32-N.md 导出
- 3.7. ghostnet-pt-op13-fp32-N.onnx 导出
- 3.8. fsaf_r101_fpn_1x_coco-detection-op13-fp32-N.onnx导出
- 3.9. fsaf_r50_fpn_1x_coco-detection-op13-fp32-N.onnx导出
- 3.10. fsaf_x101_64x4d_fpn_1x_coco-detection-op13-fp32-N.onnx导出
- 3.11. srresnet-tf-op13-fp32-N.onnx 导出
- 3.12. srresnet-pt-op13-fp32-N.onnx
- 3.13. rnnt-op13-fp32-N.onnx导出
- 3.14. ann_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.15. fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N-topk_static.onnx导出
- 3.16. fasterrcnn-resnet101_fpn_3x_caffe-mmdetection-op13-fp32-N.onnx导出
- 3.17. fasterrcnn-resnet101_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx导出
- 3.18. fasterrcnn-resnet50_c4_1x_caffe-mmdetection-op13-fp32-N.onnx导出
- 3.19. fasterrcnn-resnet50_dc5_3x_caffe-mmdetection-op13-fp32-N.onnx导出
- 3.20. fasterrcnn-resnet50_fpn_2x_pytorch-mmdetection-op13-fp32-N.onnx导出
- 3.21. fasterrcnn-resnet50_fpn_3x_caffe-mmdetection-op13-fp32-N.onnx导出
- 3.22. fasterrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx导出
- 3.23. fasterrcnn-resnext101_32x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx导出
- 3.24. fasterrcnn-resnext101_32x8d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx导出
- 3.25. fasterrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N.onnx导出
- 3.26. bisenetv2_fcn_ohem_4x4_1024x1024_160k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.27. rosetta-mobilenet_v3-en-ppocr-op13-fp32-N.onnx导出
- 3.28. rosetta-resnet34-en-ppocr-op13-fp32-N.onnx导出
- 3.29. roberta_large-sst2-huggingface-op13-fp32-seqN.onnx 导出
- 3.30. openpose-tf-op13-fp32-N.onnx 导出
- 3.31. openpose-cmu_640x360-tf-op13-fp32.onnx 导出
- 3.32. openpose-cmu_640x480-tf-op13-fp32.onnx 导出
- 3.33. openpose-mobilenet_thin_432x368-tf-op13-fp32-N.onnx 导出
- 3.34. swin222_small_patch4_window7_224-ms-op13-fp32-N.onnx导出
- 3.35. upernet_r50_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.36. apcnet_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.37. fastfcn_r50-d32_jpu_aspp_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.38. squeezenet1.0-caffe-op13-fp32-N.onnx 导出
- 3.39. squeezenet1.1-caffe-op13-fp32-N.onnx 导出
- 3.40. squeezenet1.0-pt-op13-fp32-N.onnx 导出
- 3.41. squeezenet1.1-pt-op13-fp32-N.onnx 导出
- 3.42. erfnet_fcn_4x4_512x1024_160k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.43. transformer结构拆分导出 onnx
- 3.44. tsn-omnisource-pt-op13-fp32.onnx 导出
- 3.45. slowonly-omnisource-pt-op13-fp32.onnx 导出
- 3.46. maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-unexport_mask.onnx导出
- 3.47. maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-without_rescale.onnx导出
- 3.48. maskrcnn-resnet50_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.onnx导出
- 3.49. maskrcnn-resnext101_64x4d_fpn_3x_pytorch-mmdetection-op13-fp32-N-mmcv-with_rescale.onnx导出
- 3.50. wsdan-xception-pt-op13-fp32-N.onnx 导出
- 3.51. dqn-super_mario_bros-op13-fp32-N.onnx 导出
- 3.52. deeplabv3_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.53. bert_base-squad-google-op13-fp32-N.onnx 导出
- 3.54. bert_base-squad-nvidia-op12-fp32-N.onnx 导出
- 3.55. bert_large-squad-mlperf-op13-fp32-N.onnx 下载
- 3.56. fcn_unet_s5-d16_4x4_512x1024_160k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.57. vggface-vgg16-op13-fp32-N.onnx 导出
- 3.58. vggface-resnet50-op13-fp32-N.onnx 导出
- 3.59. vggface-senet50-op13-fp32-N.onnx 导出
- 3.60. vggface2-resnet50-keras-op13-fp32-N.onnx 导出
- 3.61. encnet_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32.onnx导出
- 3.62. fast_scnn_lr0-cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.63. danet_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.64. icnet_r50-d8_in1k-pre_832x832_160k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.65. bert_base-tnews-classification-op13-fp32-seqN.onnx 导出
- 3.66. uniformer-pt-op13-fp32-N.onnx
- 3.67. deeplabv3plus_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.68. ocrnet_hr48_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.69. cgnet_512x1024_60k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.70. mobilenet_v2-torchvision-op13-fp32-N.onnx导出
- 3.71. segformer_mit-b0_8x1_1024x1024_160k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.72. segformer_mit-b1_8x1_1024x1024_160k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.73. segformer_mit-b2_8x1_1024x1024_160k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.74. segformer_mit-b3_8x1_1024x1024_160k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.75. segformer_mit-b4_8x1_1024x1024_160k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.76. segformer_mit-b5_8x1_1024x1024_160k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.77. gcnet_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.78. retinaface-tf-op13-fp32.onnx 导出
- 3.79. retinaface-rn50-pt-op13-fp32.onnx 导出
- 3.80. retinaface-mobilenetv1-pt-op13-fp32.onnx 导出
- 3.81. retinaface-rn50-op13-fp32.onnx 导出
- 3.82. retinaface-mbn-op13-fp32.onnx 导出
- 3.83. fpn_r50_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.84. pspnet_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32.onnx导出
- 3.85. wavenet-tf-op13-fp32.onnx导出
- 3.86. isanet_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.87. videomae-pt-op13-fp32-N.onnx 导出
- 3.88. ernie_3.0_base_ch-classification-opset13-fp32-seqN.onnx 导出
- 3.89. retinanet-rn50_640-tf-op13-fp32.onnx 导出
- 3.90. retinanet-rn50_1024-tf-op13-fp32.onnx 导出
- 3.91. retinanet-rn101_640-tf-op13-fp32.onnx 导出
- 3.92. retinanet-rn101_1024-tf-op13-fp32.onnx 导出
- 3.93. retinanet-rn152_640-tf-op13-fp32.onnx 导出
- 3.94. retinanet-rn152_1024-tf-op13-fp32.onnx 导出
- 3.95. retinanet-pt-op13-fp32.onnx 导出
- 3.96. retinanet-r50-mmdet-pt-op13-fp32.onnx 导出
- 3.97. retinanet-r101-mmdet-pt-op13-fp32.onnx 导出
- 3.98. gpt2-chinese-general-1024-kvcache-op13-fp32-N.onnx 导出
- 3.99. facenet-inceptionv1-op13-fp32-N.onnx 导出
- 3.100. facenet-vggface-op13-fp32-N.onnx 转换
- 3.101. fcos_resnet50_fpn_1x_caffe-detection-op13-fp32-N.onnx导出
- 3.102. fcos_resnet50_fpn_mstrain_2x_caffe-detection-op13-fp32-N.onnx导出
- 3.103. fcos_resnet50_fpn_tricks_1x_caffe-detection-op13-fp32-N.onnx导出
- 3.104. fcos_resnet101_fpn_1x_caffe-detection-op13-fp32-N.onnx导出
- 3.105. fcos_resnet101_fpn_mstrain_2x_caffe-detection-op13-fp32-N.onnx导出
- 3.106. fcos_resnext101_fpn_mstrain_2x_caffe-detection-op13-fp32-N.onnx导出
- 3.107. deeplabv3-mobilenetv2-tf-op13-fp32.onnx 导出
- 3.108. deeplabv3-xception-tf-op13-fp32.onnx 导出
- 3.109. deeplabv3-mobilenetv3-pt-op13-fp32-N.onnx 导出
- 3.110. deeplabv3-resnet50-pt-op13-fp32-N.onnx 导出
- 3.111. deeplabv3-resnet101-pt-op13-fp32-N.onnx 导出
- 3.112. dmnet_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32.onnx导出
- 3.113. minigo-op13-fp32-N.onnx 导出
- 3.114. bisenetv1_r50-d32_in1k-pre_4x4_1024x1024_160k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.115. timesformer-divst-pt-op13-fp32.onnx 导出
- 3.116. timesformer-jointst-pt-op13-fp32.onnx 导出
- 3.117. timesformer-spaceonly-pt-op13-fp32.onnx 导出
- 3.118. setr_vit-large_naive_8x1_768x768_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.119. cascade_mask_rcnn-resnet50_fpn_pytorch_3x-mmdetection-op13-fp32-N-unexport_mask-topk_static.onnx导出
- 3.120. cascade_rcnn-resnet50_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.onnx导出
- 3.121. cascade_rcnn-resnet101_fpn_pytorch_20e-mmdetection-op13-fp32-N-topk_static.onnx导出
- 3.122. cascade_rcnn-resnext101_32x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.onnx导出
- 3.123. cascade_rcnn-resnext101_64x4d_fpn_20e-mmdetection-op13-fp32-N-topk_static.onnx导出
- 3.124. fcn-resnet50-d8-512x1024-80k-cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.125. fcn-d6-resnet50-d16-512x1024-40k-cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.126. fcn-resnet101-d8-512x1024-80k-cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.127. fcn-d6-resnet101-d16-512x1024-40k-cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.128. stdc1_in1k-pre_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.129. stdc2_in1k-pre_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.130. nonlocal_r50-d8_512x1024_80k_cityscapes-mmsegmentation-op13-fp32-N.onnx导出
- 3.131. crnn-mobilenet_v3-en-ppocr-op13-fp32-N.onnx导出
- 3.132. crnn-resnet34-en-ppocr-op13-fp32-N.onnx导出
- 4. 附录:数据准备
- 4.1. dagm2007 preporcessed Dataset Preparation Guide
- 4.2. dagm2007 数据集准备指南
- 4.3. OCR Recognition LMDB Datset Preparation Guide
- 4.4. ST-GCN preporcessed Dataset Preparation Guide
- 4.5. PASCAL VOC 2012 Preparation Guide
- 4.6. PASCAL VOC 2012 数据集准备指南
- 4.7. sst2 preporcessed Dataset Preparation Guide
- 4.8. sst2 数据集准备
- 4.9. China-people-daily-ner-corpus Dataset Preparation Guide
- 4.10. 中国人民日报实体识别数据集准备指南
- 4.11. AN4 Dataset Preparation Guide
- 4.12. Market 1501 Dataset Preparation Guide
- 4.13. Market 1501 数据集准备指南
- 4.14. IIIT5K preporcessed Dataset Preparation Guide
- 4.15. People daily ner corpus subset Preparation Guide
- 4.16. 人民日报实体识别子数据集准备指南
- 4.17. voxceleb1 voxceleb2 dataset preparation guide
- 4.18. voxceleb1 voxceleb2 数据集准备指南
- 4.19. Deep Fake Detection Challenge Dataset Preparation Guide
- 4.20. Deep Fake Detection Challenge 数据集准备指南
- 4.21. kitti Dataset Preparation Guide
- 4.22. CITYSCAPES Dataset Preparation Guide
- 4.23. CITYSCAPES 数据集准备
- 4.24. ICDAR 2015 Dataset Preparation Guide
- 4.25. ICDAR 2015 数据集准备指南
- 4.26. brats2019 preporcessed Dataset Preparation Guide
- 4.27. brats2019 数据集准备指南
- 4.28. WIKI zh_CN Dataset Preparation Guide
- 4.29. WIKI zh_CN 数据集准备指南
- 4.30. Widerface Dataset Preparation Guide
- 4.31. Widerface 数据集准备指南
- 4.32. MOT-16 data Preparation Guide
- 4.33. MOT-16 数据集准备指南
- 4.34. Bert-qa preporcessed Dataset Preparation Guide
- 4.35. Bert-qa 数据集准备
- 4.36. LFW Dataset Preparation Guide
- 4.37. LFW 数据集准备指南
- 4.38. AFW preporcessed Dataset Preparation Guide
- 4.39. AFW 数据集准备
- 4.40. AFW preporcessed Dataset Preparation Guide
- 4.41. AFW 数据集准备
- 4.42. IJBB Dataset Preparation Guide
- 4.43. IJBB 数据集准备指南
- 4.44. Kinetics400 Dataset Preparation Guide
- 4.45. Kinetics400 数据集准备指南
- 4.46. Imagenet Dataset Preparation Guide
- 4.47. VCTK-Corpus 数据集准备
- 4.48. DIV2k Dataset Preparation Guide
- 4.49. DIV2k 数据集准备指南
- 4.50. Segment Anything Prompt Detaset Preparation Guide
- 4.51. mnist dataset preparation guide
- 4.52. mnist 数据集准备指南
- 4.53. COCO 2017 Dataset Preparation Guide
- 4.54. COCO 2017 数据集准备指南
- 4.55. Segment Anything Prompt Dataset Preparation Guide
- 4.56. AFW preporcessed Dataset Preparation Guide
- 4.57. AFW 数据集准备
- 4.58. Face MS1M validation data Preparation Guide
- 4.59. LPRNet validation data Preparation Guide
- 4.60. LPRNet 数据集准备指南
- 4.61. MiniGO Dataset Preparation Guide
- 4.62. MiniGO 数据集生成指南
- 4.63. LFW Dataset Preparation Guide
- 4.64. LFW 数据集准备指南
- 4.65. Librispeech preporcessed Dataset Preparation Guide
- 4.66. Librispeech数据集准备指南
- 4.67. PASCAL preporcessed Dataset Preparation Guide
- 4.68. PASCAL 数据集准备
- 4.69. Criteo Dataset Preparation Guide
- 4.70. Criteo 数据集准备指南