Logo
Enflame Documents
Version:   3.2_topsrider

开发概览

  • 燧原软件栈白皮书
    • 1. 简介
    • 2. 版本历史
    • 3. 词汇表
    • 4. 软件栈简介
    • 5. 软件栈架构
    • 6. 组件介绍
      • 6.1. TopsPlatform（加速计算平台）
        • Enflame Driver（驱动程序）
        • TopsRuntime（运行时库）
        • TopsCC（异构计算编译器）
        • Developer Tools（开发者工具）
      • 6.2. AI&HPC SDK（预编译计算库）
      • 6.3. Graph Toolkit（计算图AI编译器）
      • 6.4. Multimedia Library（多媒体库）
      • 6.5. Parallel Communication Toolkit（通信库）
      • 6.6. AI Framework（AI框架）
      • 6.7. AI Development Toolkit（AI应用开发工具）
      • 6.8. Data Center Toolkit（集群运维管理工具集）
      • 6.9. Enflame GCU Center（镜像和解决方案）

环境安装

  • TopsRider 软件栈安装手册
    • 1. 安装综述
      • 1.1. 综述
      • 1.2. 名词解释
    • 2. 安装说明
      • 2.1. 使用前说明
      • 2.2. 安装使用
        • 2.2.1. 静默安装
        • 2.2.2. 交互式操作界面安装
      • 2.3. 软件栈卸载
      • 2.4. TopsInstaller 命令说明
        • 2.4.1. 参数解释
        • 2.4.2. 重点参数说明
    • 3. 附录
      • 3.1. Docker 制作
      • 3.2. Docker 启动
      • 3.3. 版本历史

模型开发

  • 综合框架使用指南
    • torch-gcu 使用指南
      • torch-gcu2.3用户使用手册
        • 版权声明
        • 概述
        • 版本说明
        • 依赖与支持情况
        • 安装使用说明
        • 用户使用说明
        • Python接口支持情况
        • distributed接口支持情况
        • 了解GCU显存使用情况
        • profiler使用说明
        • Op Debug模块使用说明
        • CUDA代码一键迁移
        • compile使用说明
        • amp使用说明
        • custom op使用说明
        • GCUGraph 使用说明
        • Stream 限制硬件资源使用
      • torch-gcu 算子支持列表
        • 1. 前言
        • 2. 算子支持情况
      • torch 模型用户手册（推理）
        • 1. 版权声明
        • 2. 总览说明
        • 3. torch模型使用说明（推理）
        • 4. 附录：数据准备
      • 多模态模型用户手册
        • 1. 版权声明
        • 2. 总览说明
        • 3. 多模态模型使用说明
    • Tensorflow-GCU 使用指南
      • Tensorflow-GCU 用户使用手册
        • 1. 文档综述
        • 2. 安装使用说明
        • 3. 用户使用说明
        • 4. 附录
      • Tensorflow-GCU 算子支持列表
        • 1. 前言
        • 2. Tensorflow_Gcu 算子支持列表
  • 模型推理库使用指南
    • 判别式模型推理指南
      • TopsInference 用户使用手册
        • 1. 前言
        • 2. 安装使用说明
        • 3. 快速入门
        • 4. 用户使用说明
        • 5. 调试方法及常见问题
      • TopsInference C++ API参考
        • 1. Attribute
        • 2. Class
        • 3. Function
      • TopsInference Python API 参考
        • 1. User Guide
        • 2. TopsInference API Reference
        • 3. Appendix
      • TopsInference 示例代码使用手册
        • 1. TopsInference API Sample
        • 2. TopsInference Application Sample
      • 模型推理使用手册
        • 环境配置
        • 执行推理
        • 附录数据集
    • 生成式模型推理指南
      • vLLM-GCU 用户使用手册
        • 1. 前言
        • 2. 安装
        • 3. 模型推理及性能评估指南
        • 4. 数据集精度验证
        • 5. 高阶特性
        • 6. 多模态模型
      • fast-diffusers用户手册
        • 版权声明
        • 前言
        • SD系列模型推理指南
        • SD 扩展模型推理指南
        • Dit 系列模型推理指南
        • 视频生成模型推理指南
        • SD系列模型性能评估指南
        • SD 扩展模型性能评估
        • Dit 系列模型性能评估指南
        • 视频生成模型性能评估指南
      • TGI 用户使用手册
        • 版权声明
        • 前言
        • 原理介绍
        • 安装使用说明
        • 用户使用说明
      • TopsCompressor用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. 安装使用说明
        • 4. 用户使用说明
        • 5. 相关类及API介绍
        • 6. 量化数据集
        • 7. 示例代码
        • 8. vllm-gcu部署
        • 9. 数据集精度评估
      • xDiT-GCU 用户使用手册
        • 前言
        • DiT 系列模型多卡推理
        • DiT 系列模型多卡性能评估
    • ONNX Runtime 使用指南
      • ONNX Runtime 用户使用手册
        • 1. 版权声明
        • 2. 前言
        • 3. 原理介绍
        • 4. 安装使用说明
        • 5. 用户使用说明
    • 调试相关
      • TopsExec 用户使用手册
        • 1. 版权声明
        • 2. 前言
        • 3. 原理介绍
        • 4. 安装使用说明
        • 5. 用户使用说明
      • 邃思320 ONNX 算子支持列表
        • 1. 版权声明
        • 2. 前言
        • 3. 算子支持情况
      • TopsIDEAS 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. 安装使用说明
        • 4. 用户使用说明
        • 5. GCU 相关功能
        • 6. ONNX 相关功能

基础开发平台

  • 基础开发平台
    • TopsPlatform 用户使用指南

通用计算库

  • 通用计算库
    • 计算图优化
      • TopsGraph 用户使用手册
        • 1. 版权声明
        • 2. 前言
        • 3. 安装使用说明
        • 4. TopsGraphBuilder 用户手册
        • 5. TopsGraphCompiler 用户手册
      • TopsGraph C++ API参考
        • 1. Builder C++ API
        • 2. OpBuilders
        • 3. Operation Semantics
        • 4. DataType
        • 5. Class
        • 6. Function
    • TopsAten 算子库
      • TopsAten 用户使用手册
        • 1. 前言
        • 2. TopsAten概述
        • 3. 安装使用
      • TopsAten API
        • 1. Definitions
        • 2. TopsAten API Function
    • 多媒体软件开发库
      • FFmpeg_GCU用户使用手册
        • 前言
        • FFmpeg_GCU 概述
        • 安装使用
        • 应用举例
      • TopsCV用户使用手册
        • 前言
        • TopsCV 概述
        • 安装使用
        • 应用举例
      • TopsCV C API
        • 1. 版权声明
        • 2. TopsCV C API
    • 通信库
      • ECCL 用户使用手册
        • 1. 版本历史
        • 2. 词汇表
        • 3. ECCL 简介
        • 4. ECCL 用户使用手册
        • 5. eccl-tests
      • ECCL API 参考
        • 1. 版本历史
        • 2. ECCL API 参考

合规声明

  • 文档法律声明
燧原软件栈文档中心
  • »
  • 综合框架使用指南 »
  • vLLM-GCU 用户使用手册 »
  • 3. 模型推理及性能评估指南

3. 模型推理及性能评估指南¶

  • 3.1. Aquila
  • 3.2. baichuan2
  • 3.3. bloom
  • 3.4. CharacterGLM
  • 3.5. chatglm2/3
  • 3.6. CodeGeeX
  • 3.7. codellama
  • 3.8. dbrx
  • 3.9. deepseek
  • 3.10. gemma
  • 3.11. glm4
  • 3.12. gpt-j
  • 3.13. gpt-neox
  • 3.14. iFlytekSpark
  • 3.15. internlm
  • 3.16. llama
  • 3.17. Mistral
  • 3.18. opt
  • 3.19. Orion
  • 3.20. Qwen
  • 3.21. starcoder
  • 3.22. SUS-Chat
  • 3.23. vicuna
  • 3.24. WizardCoder
  • 3.25. xuanyuan
  • 3.26. Yi
  • 3.27. Ziya-Coding
Previous Next

Copyright © 2024 上海燧原科技股份有限公司 | 备案/许可证编号：沪ICP备18023946号-1沪公网安备 31011502008689号.

Built with Sphinx using a theme provided by Read the Docs.