模型推理使用指南¶

判别式模型推理指南¶

TopsInference 使用指南详细介绍了燧原自研推理框架 TopsInference，并提供了 C++ 和 Python 的 API 版本，支持用户二次开发。

TopsInference 用户使用手册

TopsInference C++ API 参考

TopsInference Python API 参考

TopsInference 示例代码使用手册

模型推理使用手册

生成式模型推理指南¶

vLLM-gcu是适配于燧原S60 gcu的vLLM，用于支持在Enflame gcu上运行各LLM的推理。
fast-diffusers 是适配于燧原S60 gcu 的 diffusers，用于支持在 Enflame gcu 上基于 pytorch native 运行 stable diffusion 类模型的推理。
TGI 用户使用手册是一个开源的大语言模型生成服务部署框架，用于支持在Enflame gcu上部署语言模型生成服务。

vLLM-gcu 用户使用手册

fast-diffusers 用户使用手册

TGI 用户使用手册

ONNX Runtime 使用指南¶

ONNX Runtime 使用指南详细介绍了基于 TopsInference 改造的 ONNX Runtime 推理引擎的使用说明，满足用户多样化开发需求。

ONNX Runtime 用户使用手册

调试相关¶

部署相关工具链条提供了简化的推理使用工具，以及 ONNX 算子支持列表等，满足用户的开发需求。

TopsExec 用户使用手册

邃思320 ONNX 算子支持列表

TopsIDEAS 用户使用手册