1. 发布内容

1.1 支持的硬件

PN产品名称
EFB-0041001-00云燧i20,云计算加速推理卡

1.2 新功能

  • 增加了对bert large, yolo v5s, yolo v5l, retinaface, mobilenetV2, inceptionV3, inceptionV4, Conformer模型推理的支持,并提供相应的包含调度的范例
  • 增加部署用插件,可以使用k8s管理分配燧原推理卡资源
  • 增加了新增模型准确度验证的范例

1.3 功能改变

  • Dtu profiler更新为Tops profiler

1.4 硬件功能与已支持功能

  • 硬件功能
    • TopsInference自动识别燧原i20推理卡
  • 业务支持
    • 支持resnet50, srresnet, vgg16,yolo v3, yolo v3 tiny, bert base, resnet 18, resnet 34, ResNeSt 50模型推理,并提供相应的包含调度的范例
    • 支持 Virtual Group优化芯片内资源使用,最多支持单卡上6 Virtual Group
    • 通过驱动和Runtime API调用,支持燧原i20多卡并行运行
  • 推理栈功能
    • 支持推理执行期通过可执行文件获取推理模型图输入输出Shape和Data Type
    • 支持推理模型图FP32到FP16的自动量化,提高推理运算速度
    • 支持推理模型图编译优化选项的控制
    • 支持ONNX模型图的解析
    • 支持异常处理与错误码
    • 支持通过API在图编译前修改推理模型图输入的形状
  • 兼容性
    • 操作系统Ubuntu18.04, Centos 7.9, Redhat linux 8.4
    • 支持Python 3.6
  • 部署功能
    • 支持Tops Profiler
    • 支持RAS功能。在出现硬件异常的情况下,快速恢复设备
    • 支持签名的firemware加载功能

2. 发布信息

2.1 版本发布信息

软件版本TopsInference.1.27.0
SSM FW版本21.6.4

2.2 操作系统支持

操作系统名称架构内核版本GCCGLIBC
Ubuntu 18.04x865.4 & 4.157.42.27
CentOS 7.9x863.15.52.17
Redhat linux 8.4x864.185.5 2.28

Categories:

Tags: