综合框架使用指南

123 torch-gcu 使用指南

torch-gcu 使用指南详细的介绍了使用 torch-gcu 进行原生推理、模型迁移等，同时提供 torch-gcu 在燧原 GCU 上的算子支持情况。

torch-gcu2.3用户使用手册

torch-gcu2.3用户使用手册

torch-gcu 算子支持列表

torch-gcu 算子支持列表

torch 模型用户手册（推理）

torch 模型用户手册（推理）

多模态模型用户手册

多模态模型用户手册

123 Tensorflow-GCU 使用指南

Tensorflow-GCU 使用指南详细的介绍了使用 Tensorflow-GCU 进行模型推理、模型迁移等，同时提供 TensorFlow-GCU 在燧原 GCU 上的算子支持情况。

Tensorflow-GCU 用户使用手册

支持 Tensorflow 在 GCU 硬件上运行的插件

Tensorflow-GCU 算子支持列表

Tensorflow-GCU 算子支持列表

模型推理库使用指南

123 判别式模型推理指南

TopsInference 使用指南详细介绍了燧原自研推理框架 TopsInference，并提供了 C++ 和 Python 的 API 版本，支持用户二次开发。

TopsInference 用户使用手册

TopsInference 用户使用手册

TopsInference C++ API 参考

TopsInference C++ API 参考

TopsInference Python API 参考

TopsInference Python API 参考

TopsInference 示例代码使用手册

TopsInference 示例代码使用手册

模型推理使用手册

模型推理使用手册

123 生成式模型推理指南

vLLM-GCU 是适配于燧原S60 GCU 的 vLLM，用于支持在 Enflame GCU 上运行各 LLM 的推理。
fast-diffusers 是适配于燧原S60 GCU 的 diffusers，用于支持在 Enflame GCU 上基于 pytorch native 运行 stable diffusion 类模型的推理。
TGI 用户使用手册是一个开源的大语言模型生成服务部署框架，用于支持在Enflame GCU上部署语言模型生成服务。
TopsCompressor 是一个大模型量化压缩工具包，旨在提供便捷 python api 帮助模型开发人员进行模型量化压缩等任务。
xDiT-GCU 是适配于燧原 S60 GCU 的 xDiT, 用于支持在 Enflame GCU 上基于 pytorch native 运行 DiT 类模型的推理。

vLLM-GCU 用户使用手册

支持在 Enflame GCU 上运行各 LLM 的推理

fast-diffusers 用户使用手册

支持在 Enflame GCU 上基于 pytorch native 运行 stable diffusion 类模型的推理

TGI 用户使用手册

支持在 Enflame GCU 上部署语言模型生成服务

TopsCompressor 用户使用手册

大模型量化压缩工具

xDiT-GCU 用户使用手册

基于 pytorch native 运行 DiT 类模型的推理

123 ONNX Runtime 使用指南

ONNX Runtime 使用指南详细介绍了基于 TopsInference 改造的 ONNX Runtime 推理引擎的使用说明，满足用户多样化开发需求。

ONNX Runtime 用户使用手册

ONNX Runtime 用户使用手册

123 调试相关

部署相关工具链条提供了简化的推理使用工具，以及 ONNX 算子支持列表等，满足用户的开发需求。

TopsExec 用户使用手册

快速使用 TopsInference 的工具

邃思320 ONNX 算子支持列表

邃思320 ONNX 算子支持列表

TopsIDEAS 用户使用手册

模型推理调试工具