Logo
Enflame Documents
Version:   Release2.5

开发概览

  • 燧原软件栈白皮书
    • 1. 简介
    • 2. 版本历史
    • 3. 词汇表
    • 4. 软件栈简介
    • 5. 软件栈架构
    • 6. 组件介绍
      • 6.1. Enflame Driver（驱动程序）
      • 6.2. TopsRuntime（运行时库）
      • 6.3. TopsEngine（编程模型和编译器）
      • 6.4. Developer Tools（开发者工具包）
      • 6.5. Tops-X（扩展开发库）
      • 6.6. Framework（AI框架）
      • 6.7. Application&platform（应用工具&平台）

环境安装

  • TopsRider 软件栈安装手册
    • 1. 安装综述
      • 1.1. 综述
      • 1.2. 名词解释
    • 2. 安装说明
      • 2.1. 使用前说明
      • 2.2. 安装使用
        • 2.2.1. 静默安装
        • 2.2.2. 交互式操作界面安装
      • 2.3. 软件栈卸载
      • 2.4. TopsInstaller 命令说明
        • 2.4.1. 参数解释
        • 2.4.2. 重点参数说明
    • 3. 附录
      • 3.1. Docker 制作
      • 3.2. Docker 启动
      • 3.3. 版本历史

模型开发

  • 模型训练使用指南
    • PyTorch 使用指南
      • PyTorch 用户使用手册
        • 1. 前言
        • 2. 文档综述
        • 3. 安装使用说明
        • 4. 用户使用说明
        • 5. 附录
        • 6. FAQ
      • PyTorch 算子支持列表
        • 1. 前言
        • 2. 算子支持情况
        • 3. 分布式算子支持情况
    • TensorFlow 使用指南
      • TensorFlow 用户使用手册
        • 1. 前言
        • 2. 文档综述
        • 3. 安装使用说明
        • 4. 用户使用说明
        • 5. 附录
      • TensorFlow 算子支持列表
        • 1. 前言
        • 2. TensorFlow 算子支持列表
      • XLA 算子支持列表
        • 1. 介绍
        • 2. XLA 算子支持列表
        • 3. 附录
    • PaddlePaddle 使用指南
      • PaddlePaddle 用户使用手册
        • 1. 版权声明
        • 2. 前言
        • 3. 安装使用说明
        • 4. 单卡模型训练
        • 5. 日志系统
        • 6. FAQ
      • PaddlPaddle 算子支持列表
        • 1. 前言
        • 2. PaddlePaddle算子及API支持列表
    • 模型训练指南
      • 模型训练用户使用手册
        • 版权声明
        • 前言
        • PPYolo
        • Faster R-CNN
        • Mask R-CNN
        • Bert Large
        • Transformer
        • DLRM
        • Faster R-CNN
        • Mask R-CNN
        • Llama-2-7b-chat-hf（peft）
        • Bloomz-7b1-mt
        • Baichuan-7B
        • ChatGLM-6B
        • ChatGLM3-6B
        • GPT-NeoX-20B
        • Llama-2-7b-chat-hf（全参）
        • Llama-2-70b-chat-hf
        • InternLM
        • Text to image
        • Dreambooth
        • textual_inversion(v1.5)
        • Dreambooth SDXL 1.0
  • 模型推理使用指南
    • TopsInference 使用指南
      • TopsInference 用户使用手册
        • 1. 前言
        • 2. 安装使用说明
        • 3. 快速入门
        • 4. 用户使用说明
        • 5. 调试方法及常见问题
      • TopsInference C++ API参考
        • 1. Attribute
        • 2. Class
        • 3. Function
      • TopsInference Python API 参考
        • 1. User Guide
        • 2. TopsInference API Reference
        • 3. Appendix
      • TopsInference 示例代码使用手册
        • 1. TopsInference API Sample
        • 2. TopsInference Application Sample
    • ONNX Runtime 使用指南
      • ONNX Runtime 用户使用手册
        • 1. 版权声明
        • 2. 前言
        • 3. 原理介绍
        • 4. 安装使用说明
        • 5. 用户使用说明
    • 调试相关
      • TopsExec 用户使用手册
        • 1. 版权声明
        • 2. 前言
        • 3. 原理介绍
        • 4. 安装使用说明
        • 5. 用户使用说明
      • Loadgen 测试用户手册
        • 版权声明
        • 前言
        • 原理介绍
        • 安装使用说明
        • 用户使用说明
        • resnet50 使用示例
        • ssd-resnet34 使用示例
        • bert large 使用示例
        • 3d-unet-brats19 使用示例
        • RNN-Transducer使用示例
      • ONNX 算子支持列表
        • 1. 版权声明
        • 2. 前言
        • 3. 算子支持情况
      • 模型推理精度测试手册
        • 1. 总览说明
        • 2. 模型推理使用说明
        • 3. 附录：onnx导出说明
        • 4. 附录：数据准备
      • TopsIDEAS 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. 安装使用说明
        • 4. 用户使用说明
        • 5. GCU 相关功能
        • 6. ONNX 相关功能
      • TopsDistInfer 用户使用手册
        • 版权声明
        • 前言
        • TopsDistInfer使用说明
        • 切分和编译工具使用说明
        • 模型切分和转换方法
        • 流水并行 pipeline 推理
  • 分布式框架用户指南
    • Horovod 使用指南
      • Horovod 用户使用手册
        • 1. 简介
        • 2. 前置准备
        • 3. 安装部署
        • 4. 使用方式
        • 5. 运行示例
        • 6. Q&A
      • Horovod API 参考
        • 1. Horovod API参考
  • 性能分析工具
    • 可视化性能分析工具
      • TopsVisualProfiler 用户使用手册
        • 1. 前言
        • 2. 原理说明
        • 3. 安装使用说明
        • 4. 用户使用说明
        • 5. TopsVisualProfiler菜单
        • 6. TopsVisualProfiler工具栏
        • 7. TopsVisualProfiler视图
        • 8. 首选项配置
        • 9. FAQ
        • 10. 引用说明
    • 命令行性能分析工具
      • TopsProf 用户使用手册
        • 1. 前言
        • 2. 命令行选项
        • 3. 采集模式
        • 4. 采集控制
        • 5. 输出
        • 6. 分布式
        • 7. 运行时采集
        • 8. 附录
      • TOPSPTI API参考
        • 1. Attribute
      • Topstx Python API Reference
        • 1. Preface
        • 2. Automatic function annotation
        • 3. Topstx API Reference
      • TOPSTX C/C++ API Reference
        • 1. Attribute
    • 模型结构分析工具
      • TopsModelGraph 用户手册
        • 1. 前言
        • 2. 介绍
        • 3. 运行环境设定
        • 4. 快速开始
        • 5. 主菜单
        • 6. 主工具栏
        • 7. 模型透视图
        • 8. 混精校准透视图
        • 9. 在线升级
        • 10. FAQ

基础开发平台

  • 编程模型
    • TopsCC 用户使用指南
      • TopsCC 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. 安装说明
        • 4. 用户使用说明
        • 5. FAQ
        • 6. 引用
      • Library Kernel API参考
        • 1. Kernel Library API
      • TopsCC 命令行使用手册
        • 1. 版权声明
        • 2. 引言/Preface
        • 3. 概述/Overview
        • 4. 详细设计/Detail Design
    • Debug 使用指南
      • TopsGDB 用户使用手册
        • 1. 版权声明
        • 2. 前言
        • 3. 安装使用说明
        • 4. 用户使用说明
  • 运行时库
    • Host Runtime API参考
      • 1. Attribute
        • 1.1. GlobalDefs
        • 1.2. GlobalDefsExt
      • 2. API Function
        • 2.1. Driver
        • 2.2. Device
        • 2.3. Error
        • 2.4. Stream
        • 2.5. Event
        • 2.6. Memory
        • 2.7. PeerToPeer
        • 2.8. Module
        • 2.9. Clang
        • 2.10. Runtime
        • 2.11. Extension
    • Kernel Runtime API参考
      • 1. Kernel Runtime API
  • 驱动相关
    • KMD 用户使用手册
      • KMD 用户使用手册
        • 1. KMD用户使用手册

通用计算库

  • 计算图优化
    • TopsGraph 计算图优化
      • TopsGraph Python API 参考
        • 1. Builder Python API
        • 2. OpBuilders
        • 3. Function
      • TopsGraph C++ API参考
        • 1. Builder C++ API
        • 2. OpBuilders
        • 3. Operation Semantics
        • 4. DataType
        • 5. Class
        • 6. Function
  • 深度学习与科学计算库
    • TopsDNN 算子库
      • TopsDNN 用户使用手册
        • 1. 版权声明
        • 2. 前言
        • 3. TopsDNN概述
        • 4. 安装使用
        • 5. 应用举例
      • TopsDNN API参考
        • 1. topsdnn API Reference
  • 通信库
    • ECCL 通信库
      • ECCL 用户使用手册
        • 1. 声明
        • 2. 版本历史
        • 3. ECCL简介
        • 4. ECCL用户使用手册
        • 5. eccl-tests
      • ECCL API 参考
        • 1. 版本历史
        • 2. ECCL API参考

集群部署与设备管理

  • TopsCloud 用户使用指南
    • TopsCloud 产品综述
    • 资源管理
      • K8S_Plugin 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. container-toolkit
        • 4. k8s-device-plugin
        • 5. 部署示例
        • 6. 常见问题
      • GCUShare 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. 安装GCUShare组件
        • 4. 使用共享GCU
        • 5. 组件卸载
        • 6. 常见问题
      • Container Toolkit 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. container-toolkit安装包
        • 4. 安装container-toolkit
        • 5. 环境变量
        • 6. 配置文件与日志
        • 7. 常见问题
      • GCU Feature Discovery 用户使用手册
        • 1. 前言
        • 2. 前言
        • 3. 部署示例
      • Node Feature Discovery 用户使用手册
        • 1. 前言
        • 2. 前言
        • 3. 部署示例
        • 4. 自定义node-feature-discovery镜像名称
        • 5. node-feature-discovery功能介绍
    • 监控管理
      • GCU-Exporter 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. 端口
        • 4. 指标说明
        • 5. 告警与处理
        • 6. 部署
        • 7. 常见问题
      • GCU Monitor Examples 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. 应用示例
        • 4. 注意事项
    • 部署运维
      • GCU-Operator 用户使用手册
        • 1. 前言
        • 2. 背景
        • 3. gcu-operator简介
        • 4. 部署示例
        • 5. 功能分析
        • 6. 常见问题
        • 7. 附录
      • KubeOne 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. 前置准备
        • 4. 配置与命令
        • 5. 部署示例
        • 6. 常见问题
      • GCU Upgrade Manager 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. 接口说明
        • 4. 安装gcu-upgrade-manager组件
        • 5. 使用示例
        • 6. Q&A
    • 二次开发库
      • GO-Eflib 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. 使用配置
        • 4. 常见问题
  • GCU 设备资源管理
    • GCU 设备资源管理使用指南
      • EFSMI 用户使用手册
        • 工具简介
        • 参考文献
        • 分发包
        • 安装步骤
        • 使用须知
        • EFSMI 命令
        • EFML - Enflame 管理库
        • API 参考
      • Indices and tables

合规声明

  • 文档法律声明
燧原软件栈文档中心
  • »
  • 模型推理使用指南 »
  • TopsDistInfer 用户使用手册

TopsDistInfer 用户使用手册¶

目录

  • 版权声明
  • 前言
    • 版本信息
  • TopsDistInfer使用说明
  • 切分和编译工具使用说明
    • 环境依赖
    • 功能介绍
  • 模型切分和转换方法
    • GPT2 xl
    • LLAMA 7b
    • LLAMA 13b
    • LLAMA2 7b
    • LLAMA2 13b
    • LLAMA2 13b chat
    • ChatGLM 6b
    • Vicuna 13b
    • Alpaca 7b
    • BLOOMZ 7b1
    • BLOOM 7b1
    • Baichuan 7b
    • ChatGLM2
    • ChatGLM3
    • OPT 13b
    • STARCODERBASE-15B
    • Pangu 13b
    • Baichuan2 13b base
    • Baichuan2 7b
    • WIZARDCODER-15B
    • Baichuan2 13b chat
    • Aquila 7b
    • InternLM 7B
  • 流水并行 pipeline 推理
    • 环境依赖
    • 执行模型推理
Previous Next

Copyright © 2023 上海燧原科技股份有限公司 | 备案/许可证编号：沪ICP备18023946号-1沪公网安备 31011502008689号.

Built with Sphinx using a theme provided by Read the Docs.