2. 简介¶
TopsIDEAS 是一个推理算法分析的工具包,旨在辅助开发人员完成推理模型的部署任务,调试模型并解决部署过程中的问题,它提供命令行界面CLI。该工具包基于TopsInference推理框架,包括混精校准、推理错误debug等主要功能模块。
3. 安装使用说明¶
TopsIDEAS支持Python3.6或3.8版本,可以从whl包直接安装。
3.1. 依赖¶
如果使用的Python/pip版本较低,需要先升级pip:
pip3 install -U 'pip<21.0'
安装onnxruntime或onnxruntime-gcu中的任意一个,建议使用1.9.0或以上的版本。
使用GCU相关功能时需要安装TopsInference的whl包。
3.2. 使用预编译的whl包安装¶
pip3 install topsideas-<version>-py3-none-any.whl
3.3. (可选)添加到 PATH¶
如果安装Python时没有把Scripts或bin目录添加到Path环境变量,需要手动将Python的对应目录添加到Path。
在命令行中检查是否安装成功:
topsideas --help
如果发生找不到topsideas程序错误,需要将以下路径添加到PATH。
Linux平台默认路径为:
~/.local/bin
4. 用户使用说明¶
TopsIDEAS提供多种子工具,子工具可以通过命令行(CLI)方式使用。
<工具类型> := [gcu | onnx]
4.1. 命令行方式¶
命令行方式使用时,命令格式为:
topsideas <工具类型> <子工具名> --<参数>=<值>
例如:
topsideas gcu mix_precision --args=...
4.2. 功能列表¶
TopsIDEAS的具体功能、子工具的命令和描述如下表,具体使用方法和文档请点击表格中的链接查看。
:::{table} 功能列表 :widths: 30 55 15
Command | Description | Document |
---|---|---|
topsideas gcu mix_precision | 用于topsinference混合精度调整每个op的计算精度 | Readme |
topsideas gcu debug | 遍历并找到GCU计算错误的最小子图并保存 | Readme |
topsideas onnx extract | 抽取ONNX文件中指定的子图 | Readme |
topsideas onnx fold_constant | 对ONNX文件进行常量折叠 | Readme |
topsideas onnx infer_shape | 给ONNX文件添加tensor的shape信息,形状推理 | Readme |
topsideas onnx opset | 修改ONNX文件的opset | Readme |
:::