模型推理使用指南¶
判别式模型推理指南¶
TopsInference 使用指南详细介绍了燧原自研推理框架 TopsInference,并提供了 C++ 和 Python 的 API 版本,支持用户二次开发。
TopsInference 用户使用手册
TopsInference C++ API 参考
TopsInference Python API 参考
TopsInference 示例代码使用手册
模型推理使用手册
生成式模型推理指南¶
stable_diffusion_gcu是适配于Enflame i20 gcu的stable diffusion类模型的推理库,基于ONNX/TopsInference进行推理。
stable_diffusion_gcu 用户使用手册
ONNX Runtime 使用指南¶
ONNX Runtime 使用指南详细介绍了基于 TopsInference 改造的 ONNX Runtime 推理引擎的使用说明,满足用户多样化开发需求。
ONNX Runtime 用户使用手册
调试相关¶
部署相关工具链条提供了简化的推理使用工具,以及模型推精度测试手册,ONNX 算子支持列表等,满足用户的开发需求。
TopsExec 用户使用手册
LoadGen 用户使用手册
ONNX 算子支持列表
TopsIDEAS 用户使用手册
TopsDistInfer 用户使用手册