跳转到内容
1. 发布内容
1.1 支持的硬件
PN | 产品名称 |
---|
EFB-0041001-00 | 云燧i20,云计算加速推理卡 |
1.2 新功能
- 增加了对bert large, yolo v5s, yolo v5l, retinaface, mobilenetV2, inceptionV3, inceptionV4, Conformer模型推理的支持,并提供相应的包含调度的范例
- 增加部署用插件,可以使用k8s管理分配燧原推理卡资源
- 增加了新增模型准确度验证的范例
1.3 功能改变
- Dtu profiler更新为Tops profiler
1.4 硬件功能与已支持功能
- 硬件功能
- TopsInference自动识别燧原i20推理卡
- 业务支持
- 支持resnet50, srresnet, vgg16,yolo v3, yolo v3 tiny, bert base, resnet 18, resnet 34, ResNeSt 50模型推理,并提供相应的包含调度的范例
- 支持 Virtual Group优化芯片内资源使用,最多支持单卡上6 Virtual Group
- 通过驱动和Runtime API调用,支持燧原i20多卡并行运行
- 推理栈功能
- 支持推理执行期通过可执行文件获取推理模型图输入输出Shape和Data Type
- 支持推理模型图FP32到FP16的自动量化,提高推理运算速度
- 支持推理模型图编译优化选项的控制
- 支持ONNX模型图的解析
- 支持异常处理与错误码
- 支持通过API在图编译前修改推理模型图输入的形状
- 兼容性
- 操作系统Ubuntu18.04, Centos 7.9, Redhat linux 8.4
- 支持Python 3.6
- 部署功能
- 支持Tops Profiler
- 支持RAS功能。在出现硬件异常的情况下,快速恢复设备
- 支持签名的firemware加载功能
2. 发布信息
2.1 版本发布信息
软件版本 | TopsInference.1.27.0 |
---|
SSM FW版本 | 21.6.4 |
2.2 操作系统支持
操作系统名称 | 架构 | 内核版本 | GCC | GLIBC |
---|
Ubuntu 18.04 | x86 | 5.4 & 4.15 | 7.4 | 2.27 |
CentOS 7.9 | x86 | 3.1 | 5.5 | 2.17 |
Redhat linux 8.4 | x86 | 4.18 | 5.5 | 2.28 |