1.1 新功能
- 在python3上，通过tf2onnx工具对Resnet50和Bertbase模型进行转换
1.2 版本发布信息
| 软件版本 | TopsInference.1.17.781 |
| SSM FW版本 | 2.46.0 |
1.3 支持的硬件
| PN | 产品名称 |
| EFB-0001800-00 | 云燧I10，云计算加速推理卡 |
1.4 支持的OS类型
| 支持的OS 类型 | 内核版本 |
| Ubuntu 16.04.6 Desktop LTS | 4.15.0 |
| Ubuntu 18.04.4 Server LTS | 4.15.0 |
| CentOS 7.6 | 3.10.0 |
| CentOS 8.2 | 4.18.0 |
| Redhat Linux 7.6 | 3.10.0 |
1.5 已支持的功能
- 推理栈功能：
- 支持推理模型图编译阶段与执行阶段的分离，实现推理部署阶段可执行文件的快速加载与推理执行
- 支持推理执行期通过可执行文件获取推理模型图输入输出Shape和Data Type
- 支持推理模型图FP32到FP16的自动量化，提高推理运算速度
- 支持推理模型图编译优化选项的控制
- 支持TF与ONNX模型图的解析
- 支持异常处理与错误码
- 支持通过API在图编译前修改推理模型图输入的形状
- 支持每张I10卡4个Cluster独立运行推理任务
- 当输入数据是Batch size的1~4倍时，通过Python接口，在单张I10卡4个Cluster上支持同一推理模型的多实例部署与推理任务的自动分配
- 支持基于ONNX上Resnet50 fp16的推理运算
- 兼容性：
- 支持系统运行在CENTOS 8.2, Redhat 7.6企业版, Ubuntu16.04以及Ununtu18.04版本
- 支持Python 2.7，3.5
- 部署功能：
- 支持DTU Profiler，DTU Monitor
- 支持K8S，Docker Plugin，可在服务器集群中快速部署
- 支持RAS功能。在出现硬件异常的情况下，快速恢复设备
- 多模型支持：
- 支持deart pb，deart onnx，defocus，cosface，resnet50 V1&V2等模型在多卡上同时并行运行
- 支持Faster RCNN模型的有限制支持
- 依赖tensorflow
- 不支持编译与执行的分离
1.6 解决问题列表
- TR-11590在安装驱动时，进行SSM firmware的更新过程中，firmware的版本显示错误，FW版本2.45.0被错误的显示成9.25.1
沪公网安备 31011502008689号