模型开发¶

综合框架使用指南¶

插件方式支持主流的深度学习框架，如 Pytorch、Tensorflow 等，用户可以快速实现模型推理任务，并可以利用分布式计算能力。

支持主流的深度学习框架，如 Pytorch、Tensorflow 等

模型推理库使用指南¶

大模型领域支持基于 vLLM 和 Text Generation Interface 的推理和服务化部署，继续提供性能高度优化的自研推理引擎 Topsinference，支持基于 ONNX Runtime 的推理实现，同时提供了 Hugging Face diffusers、xDiT 等开源组件的适配版本，支撑相关 AIGC 模型在 GCU 设备上运行。

模型推理库使用指南

大模型领域支持基于 vLLM 和 Text Generation Interface 的推理和服务化部署