1. 简介
TopsRider v3.2.204版本适用于S60系列设备。下述新增/修改特性和问题修复部分是相对于上一次发布Topsrider v3.2.109的变更。
2. 功能优化
2.1 新增/修改基本特性
- TopsRider run包中增加paddle GCU 3.0和TGI 2.2组件
- Topsinference推理bert base类/bert large类/mtcnn类等模型混精度性能优化
- pytorch原生推理bert-vits2/roberta-textcnn性能优化
- Paddle GCU新增功能如下：
- 利用topscc进行自定义算子编译注册的机制
- 对PaddleOCR V4的cls网络（MobilenetV2）的性能调优
- DFX功能增强，新增Kernel Tensor的打印输出功能
- 对RTDETR网络系列模型的支持
- 对PPYOLOE网络系列模型的支持
2.2 新支持模型
2.2.1 LLM-W16A16
| 模型名称 | 框架 | 数据类型 | 卡数 |
| Qwen2-1.5B-Instruct | vLLM | FP16 | 1 |
2.2.2 LLM-W8A8C8
| 模型名称 | 框架 | 数据类型 | 卡数 |
| llama2-7b-chat | vLLM | W8A8C8 | 1 |
| Qwen2-72B | vLLM | W8A8C8 | 4 |
| LLama2-70B | vLLM | W8A8C8 | 4 |
2.2.3 LLM-W4A16
| 模型名称 | 框架 | 数据类型 | 卡数 |
| deepseek-moe-16b-base-gptqvLLM | vLLM | W4A16 | 1 |
| internLM-2.5-7B-chat | vLLM | W4A16 | 1 |
| mixtral-8x7b-gptq | vLLM | W4A16 | 4 |
| Llama-3.1-70B-Instruct-awq | vLLM | W4A16 | 4 |
| Baichuan2-13B-awq | vLLM | W4A16 | 1 |
2.2.4 多模态
| 模型名称 | 框架 | 数据类型 | 卡数 |
| internvl-chat-1.5 | vLLM | FP16 | 1 |
2.2.5 视频生成/文生图
| 模型名称 | 框架 | 数据类型 | 卡数 |
| CogVideox-5b | PyTorch2.3+TopsAten | BP16 | 1 |
| xdit+latte | PyTorch2.3+TopsAten | FP16 | 1 / 2 /4 |
| flux.1-schnell | PyTorch2.3+TopsAten | BP16 | 1 |
| open-sora-1.2 | PyTorch2.3+TopsAten | BP16 | 1 |
3. FW信息
| FW | 版本号 |
| S60 SSM FW | Boot FW 33.6.5，Runtime FW 33.6.5.28 |
| AP | 1.1.4 |
| SP | 2.10.4 |
| VPU | 3.1.4 |
5. 操作系统和Python支持
5.1 适配说明
- Host 环境：仅Enflame Driver 对此 OS 环境做兼容适配，Docker 运行 Ubuntu
- Docker 环境：软件栈功能已做适配测试，需使用相同OS 的 Host
5.2 操作系统支持列表
| 操作系统名称 | 架构 | 内核版本 | GCC | GLIBC | 说明 |
| Ubuntu 20.04.z(z<=5) | x86 | 5.4 & 5.11 & 5.13 & 5.15 | 9.3 | 2.31 | Host & Docker |
| Ubuntu 22.04.z (z<=1) | x86 | 5.15 | 11.2 | 2.35 | Host & Docker |
| Kylin v10 | x86 | 4.19.0 | 7.3 | 2.28 | 仅驱动在 Host 上已适配 |
| UOS 20 Server | x86 | 4.19.0 | 7.3 | 2.28 |
| OpenEular | X86 | 5.10.0 | 10.3.1 | 2.34 |
| 龙蜥 8.2 QU2 | X86 | 4.18.0 | 8.3.1 | 2.28 |
| 龙蜥 8.6 | X86 | 4.19.90 | 7.3.0 | 2.28 |
5.3 Python 支持版本
Python 3.8（支持传统模型），Python 3.10
6 文档更新
6.1 增加文档
《torch_gcu2.1用户使用手册》
7. 使用限制
ARM 平台由于资源限制，只覆盖了单卡环境，覆盖模型如下：
vllm llama2 7b、llama2 13b、典型传统模型 resnet50 v1.5、yolov5m、vit_b vit_l
沪公网安备 31011502008689号