模型推理使用指南

123 判别式模型推理指南

TopsInference 使用指南详细介绍了燧原自研推理框架 TopsInference,并提供了 C++ 和 Python 的 API 版本,支持用户二次开发。

TopsInference 用户使用手册

TopsInference 用户使用手册

TopsInference C++ API 参考

TopsInference C++ API 参考

TopsInference Python API 参考

TopsInference Python API 参考

TopsInference 示例代码使用手册

TopsInference 示例代码使用手册

模型推理使用手册

模型推理使用手册

123 生成式模型推理指南

stable_diffusion_gcu是适配于Enflame i20 gcu的stable diffusion类模型的推理库,基于ONNX/TopsInference进行推理。

stable_diffusion_gcu 用户使用手册

stable_diffusion_gcu 用户使用手册

123 ONNX Runtime 使用指南

ONNX Runtime 使用指南详细介绍了基于 TopsInference 改造的 ONNX Runtime 推理引擎的使用说明,满足用户多样化开发需求。

ONNX Runtime 用户使用手册

ONNX Runtime 用户使用手册

123 调试相关

部署相关工具链条提供了简化的推理使用工具,以及模型推精度测试手册,ONNX 算子支持列表等,满足用户的开发需求。

TopsExec 用户使用手册

TopsExec 用户使用手册

LoadGen 用户使用手册

LoadGen 用户使用手册

ONNX 算子支持列表

ONNX 算子支持列表

TopsIDEAS 用户使用手册

TopsIDEAS 用户使用手册

TopsDistInfer 用户使用手册

TopsDistInfer 用户使用手册