1. 简介
TopsRider v2.4发布说明,2.4.136 版本适用于i20、T20、T21设备。
2. 功能优化
2.1 新增/修改特性
- 环境变量:ENFLAME_ENABLE_EFP修改为:ENFLAME_ENABLE_EFP 。
2.2 i2x 模型支持
模型名称 | 精度 | 说明 |
SegmentAnything | FP16 混精 | 新增支持 |
DLRM | FP16 混精 | 新增支持 |
RNN-T | FP16 混精 | 新增支持 |
Wavenet | FP16 混精 | 新增支持 |
MiniGo | FP16 混精 | 新增支持 |
Yuan 1.0 13B | FP16 混精 | 新增支持 |
GPT2 1.5B | FP16 混精 | 新增支持 |
2.3 T2x 设备支持模型
2.3.1 PaddlePaddle 框架新增模型
模型名称 | 框架 | 说明 |
wide_deep | PaddlePaddle | 8卡收敛,EFP |
2d_unet | PaddlePaddle | 4卡收敛,EFP |
2.3.2 PyTorch 新增模型
模型名称 | 框架 | 说明 |
Mastrcnn (动态) | PyTorch | 8卡收敛,EFP |
Fastrcnn(动态) | PyTorch | 8卡收敛,EFP |
2.3.3 Tensorflow 模型支持
此次无新增
2.3.4 ARM 模型新增(此次无新增)
模型名称 | 框架 | 数据类型 | 卡数 |
Resnet50 v1.5 | PyTorch | EFP | 2 |
BERT Large | PyTorch | EFP | 2 |
BERT Base | PyTorch | EFP | 2 |
YOLO v3 | PyTorch | EFP | 2 |
YOLO v5s | PyTorch | EFP | 2 |
Unet | PyTorch | EFP | 2 |
SSD | PyTorch | EFP | 2 |
3. 问题修复
1、 | 使用insexec指定算子精度后编译3pg模式不起作用 |
2、 | builder使用set_attribute的方式设置混精失败 |
3、 | 使用insexec指定算子精度后编译3pg模式不起作用 |
4、 | chatglm2-6b(部分,手动构建) 在某些cache长度下推理出现bug |
5、 | i20上Rcnn模型match |
6、 | T20 上Paddle deeplabv3 八卡 host OOM |
7、 | i20上八卡训练bertlarge hang |
8、 | T20上Paddle 3d_unet 收敛loss飙升 |
4. 文档
- 新增TopsCC用户使用手册
- 新增TopsCC API手册
- 新增TopsCC命令行手册
- 新增TopsGDB用户使用手册
- 新增TopsTx用户使用手册
- 新增kmd用户使用手册
- 新增topsdisinfer用户使用手册
5. 使用限制
- PaddlePaddle 框架下 必须使用Python 3.8 及以上
- Topscc 组件kernel c++不能支持纯虚成员函数
- TopsGDB在i20设备上支持C/C++源码调试;在T20、T21设备上支持汇编级别的调试,对于源码调试功能将在后续版本支持
- TopsGDB仅支持单卡环境,暂不支持多卡环境
7. EFSMI 版本
8. 操作系统和python 支持
8.1 适配说明
- Host 环境:仅Enflame Driver 对此 OS 环境做兼容适配,Docker 运行 Ubuntu
- Docker 环境:软件栈功能已做适配测试,需使用相同OS 的 Host
8.2 操作系统支持列表
操作系统名称 | 架构 | 内核版本 | GCC | GLIBC | 说明 |
Ubuntu 18.04.z(z<=6) | x86 | 4.15.0 & 5.4 | 7.5 | 2.27 | Host & Docker |
Ubuntu 18.04.6 | aarch64 | 5.4 | 7.5 | 2.27 | Host & Docker |
Ubuntu 20.04.z(z<=5) | x86 | 5.4 & 5.11 & 5.13 & 5.15 | 9.3 | 2.31 | Host & Docker |
Ubuntu 22.04.z (z<=1) | x86 | 5.15 | 11.2 | 2.35 | 仅 kmd 在 Host 上已适配,Docker 中请使用其他OS |
CentOS 7.9 | x86 | 3.1 | 5.5 | 2.17 | Host & Docker |
Redhat linux 8.y(y=0,3,4,6) | x86 | 4.18 | 8.5 | 2.28 | Host GCC 4.8.5 Docker GCC 5.5 |
RedHat 9.y (y=0) | X86 & aarch64 | 5.14.0 | 11.2.1 | 2.34 | 仅 kmd 在 Host 上已适配,Docker 中请使用其他 OS |
Kylin v10 | x86 | 4.19.0 | 7.3 | 2.28 | 仅 kmd 在Host上已适配,Docker 使用 Ubuntu |
UOS 20 Server | x86 | 4.19.0 | 7.3 | 2.28 | 仅 Host 适配,Docker 使用 Ubuntu |
OpenEular | X86 | 5.10.0 | 10.3.1 | 2.34 | Host & Docker |
龙蜥 8.2 QU2 | X86 | 4.18.0 | 8.3.1 | 2.28 | Host & Docker |
龙蜥 8.6 | X86 | 4.19.90 | 7.3.0 | 2.28 | Host & Docker |
8.3 Python 支持
Python 3.6,Python 3.8