2. 简介

TopsIDEAS 是一个推理算法分析的工具包,旨在辅助开发人员完成推理模型的部署任务,调试模型并解决部署过程中的问题,它提供命令行界面CLI。该工具包基于TopsInference推理框架,包括混精校准推理错误debug等主要功能模块。

3. 安装使用说明

TopsIDEAS支持Python3.6或3.8版本,可以从whl包直接安装。

3.1. 依赖

  • 如果使用的Python/pip版本较低,需要先升级pip:

    pip3 install -U 'pip<21.0'
    
  • 安装onnxruntime或onnxruntime-gcu中的任意一个,建议使用1.9.0或以上的版本。

  • 使用GCU相关功能时需要安装TopsInference的whl包。

3.2. 使用预编译的whl包安装

pip3 install topsideas-<version>-py3-none-any.whl

3.3. (可选)添加到 PATH

如果安装Python时没有把Scripts或bin目录添加到Path环境变量,需要手动将Python的对应目录添加到Path。

在命令行中检查是否安装成功:

topsideas --help

如果发生找不到topsideas程序错误,需要将以下路径添加到PATH。

Linux平台默认路径为:

~/.local/bin

4. 用户使用说明

TopsIDEAS提供多种子工具,子工具可以通过命令行(CLI)方式使用。

<工具类型> := [gcu | onnx]

4.1. 命令行方式

命令行方式使用时,命令格式为:

topsideas <工具类型> <子工具名> --<参数>=<>

例如:

topsideas gcu mix_precision --args=...

4.2. 功能列表

TopsIDEAS的具体功能、子工具的命令和描述如下表,具体使用方法和文档请点击表格中的链接查看。

:::{table} 功能列表 :widths: 30 55 15

Command Description Document
topsideas gcu mix_precision 用于topsinference混合精度调整每个op的计算精度 Readme
topsideas gcu debug 遍历并找到GCU计算错误的最小子图并保存 Readme
topsideas onnx extract 抽取ONNX文件中指定的子图 Readme
topsideas onnx fold_constant 对ONNX文件进行常量折叠 Readme
topsideas onnx infer_shape 给ONNX文件添加tensor的shape信息,形状推理 Readme
topsideas onnx opset 修改ONNX文件的opset Readme

:::