2. 简介

TopsIDEAS 是一个推理算法分析的工具包，旨在辅助开发人员完成推理模型的部署任务，调试模型并解决部署过程中的问题，它提供命令行界面CLI。该工具包基于TopsInference推理框架，包括混精校准、推理错误debug主要功能模块。

3. 安装使用说明

TopsIDEAS支持Python3.6或3.8版本，可以从whl包直接安装。

3.1. 依赖

  • 如果使用的Python/pip版本较低，需要先升级pip

    pip3 install -U 'pip<21.0'

  • 安装onnxruntime或onnxruntime-gcu中的任意一个，建议使用1.9.0或以上的版本

  • 使用GCU相关功能时需要安装TopsInference的whl包

3.2. 使用预编译的whl包安装

pip3 install topsideas-<version>-py3-none-any.whl

3.3. （可选）添加到 PATH

如果安装Python时没有把Scripts或bin目录添加到Path环境变量，需要手动将Python的对应目录添加到Path。

在命令行中检查是否安装成功

topsideas --help

如果发生找不到topsideas程序错误，需要将以下路径添加到PATH

Linux平台默认路径为

~/.local/bin

4. 用户使用说明

TopsIDEAS提供多种子工具，子工具可以通过命令行（CLI）方式使用。

<工具类型> := [gcu]

4.1. 命令行方式

命令行方式使用时，命令格式为 topsideas <工具类型> <子工具名> --<参数>=<值>，例如：

topsideas gcu mix_precision --args=...

4.2. 功能列表

TopsIDEAS的具体功能、子工具的命令和描述如下表，具体使用方法和文档请点击表格中的链接查看。

GCU 相关

Command

Description

Document

topsideas gcu mix_precision

用于topsinference混合精度调整每个op的计算精度

Readme

topsideas gcu debug

遍历并找到GCU计算错误的最小子图并保存

Readme