Logo
Enflame Documents
Version:   3.1_topsrider

开发概览

  • 燧原软件栈白皮书
    • 1. 简介
    • 2. 版本历史
    • 3. 词汇表
    • 4. 软件栈简介
    • 5. 软件栈架构
    • 6. 组件介绍
      • 6.1. TopsPlatform（加速计算平台）
        • Enflame Driver（驱动程序）
        • TopsRuntime（运行时库）
        • TopsCC（异构计算编译器）
        • Developer Tools（开发者工具）
      • 6.2. AI&HPC SDK（预编译计算库）
      • 6.3. Graph Toolkit（计算图AI编译器）
      • 6.4. Multimedia Library（多媒体库）
      • 6.5. Parallel Communication Toolkit（通信库）
      • 6.6. AI Framework（AI框架）
      • 6.7. AI Development Toolkit（AI应用开发工具）
      • 6.8. Data Center Toolkit（集群运维管理工具集）
      • 6.9. Enflame GCU Center（镜像和解决方案）

环境安装

  • TopsRider 软件栈安装手册
    • 1. 安装综述
      • 1.1. 综述
      • 1.2. 名词解释
    • 2. 安装说明
      • 2.1. 使用前说明
      • 2.2. 安装使用
        • 2.2.1. 静默安装
        • 2.2.2. 交互式操作界面安装
      • 2.3. 软件栈卸载
      • 2.4. TopsInstaller 命令说明
        • 2.4.1. 参数解释
        • 2.4.2. 重点参数说明
    • 3. 附录
      • 3.1. Docker 制作
      • 3.2. Docker 启动
      • 3.3. 版本历史

模型开发

  • 综合框架使用指南
    • torch_gcu 使用指南
      • torch-gcu2.1用户使用手册
        • 1. 概述
        • 2. 依赖与支持情况
        • 3. 安装使用说明
        • 4. 用户使用说明
        • 5. 版本说明
        • 6. Python接口支持情况
        • 7. distributed接口支持情况
        • 8. profiler使用说明
        • 9. Op Debug模块使用说明
        • 10. CUDA代码一键迁移
      • torch_gcu 算子支持列表
        • 1. 前言
        • 2. 算子支持情况
      • torch 模型用户手册（推理）
        • 1. 版权声明
        • 2. 总览说明
        • 3. torch模型使用说明（推理）
      • 多模态模型用户手册
        • 1. 版权声明
        • 2. 总览说明
        • 3. 多模态模型使用说明
    • Tensorflow_Gcu 使用指南
      • Tensorflow_Gcu 用户使用手册
        • 1. 文档综述
        • 2. 安装使用说明
        • 3. 用户使用说明
        • 4. 附录
      • Tensorflow_Gcu 算子支持列表
        • 1. 前言
        • 2. Tensorflow_Gcu 算子支持列表
  • 模型推理使用指南
    • 判别式模型推理指南
      • TopsInference 用户使用手册
        • 1. 前言
        • 2. 安装使用说明
        • 3. 快速入门
        • 4. 用户使用说明
        • 5. 调试方法及常见问题
      • TopsInference C++ API参考
        • 1. Attribute
        • 2. Class
        • 3. Function
      • TopsInference Python API 参考
        • 1. User Guide
        • 2. TopsInference API Reference
        • 3. Appendix
      • TopsInference 示例代码使用手册
        • 1. TopsInference API Sample
        • 2. TopsInference Application Sample
      • 模型推理使用手册
        • 环境配置
        • 执行推理
        • 附录数据集
    • 生成式模型推理指南
      • vLLM-gcu 用户使用手册
        • 1. 前言
        • 2. 安装
        • 3. 模型推理及性能评估指南
        • 4. 数据集精度验证
      • fast-diffusers 用户使用手册
        • 前言
        • SD系列模型推理指南
        • SD 扩展模型推理指南
        • DiT模型推理指南
        • AnimateDiff 模型推理指南
        • MagicAnimate 模型推理指南
        • SD系列模型性能评估指南
        • SD 扩展模型性能评估
        • DiT模型性能评估
      • TGI用户使用手册
        • 版权声明
        • 前言
        • 原理介绍
        • 安装使用说明
        • 用户使用说明
    • ONNX Runtime 使用指南
      • ONNX Runtime 用户使用手册
        • 1. 版权声明
        • 2. 前言
        • 3. 原理介绍
        • 4. 安装使用说明
        • 5. 用户使用说明
    • 调试相关
      • TopsExec 用户使用手册
        • 1. 版权声明
        • 2. 前言
        • 3. 原理介绍
        • 4. 安装使用说明
        • 5. 用户使用说明
      • 邃思320 ONNX 算子支持列表
        • 1. 版权声明
        • 2. 前言
        • 3. 算子支持情况
      • TopsIDEAS 用户使用手册
        • 1. 前言
        • 2. 简介
        • 3. 安装使用说明
        • 4. 用户使用说明
        • 5. GCU 相关功能
        • 6. ONNX 相关功能

基础开发平台

  • 基础开发平台
    • TopsPlatform 用户使用指南

通用计算库

  • 通用计算库
    • 计算图优化
      • TopsGraph 用户使用手册
        • 1. 版权声明
        • 2. 前言
        • 3. 安装使用说明
        • 4. TopsGraphBuilder 用户使用手册
        • 5. TopsGraphCompiler 用户使用手册
      • TopsGraph C++ API参考
        • 1. Builder C++ API
        • 2. OpBuilders
        • 3. Operation Semantics
        • 4. DataType
        • 5. Class
        • 6. Function
    • TopsAten 算子库
      • TopsAten 用户使用手册
        • 1. 前言
        • 2. TopsAten概述
        • 3. 安装使用
      • TopsAten API
        • 1. Definitions
        • 2. TopsAten API Function
    • 多媒体软件开发库
      • FFmpeg_GCU用户使用手册
        • 前言
        • FFmpeg_GCU 概述
        • 安装使用
        • 应用举例
      • TopsCV用户使用手册
        • 前言
        • TopsCV 概述
        • 安装使用
        • 应用举例
      • TopsCV C API
        • 1. TopsCV C API
      • TopsCodec API Reference
        • 1. 版权声明
        • 2. Tops Codec API 文档
      • TopsCodec用户使用手册
        • 版权声明
        • 简介
        • 支持的解码器
        • TopsCodec安装
        • Video解码能力
        • Video解码器简介
        • 使用视频解码器API
        • Video Decoder
    • 通信库
      • ECCL 用户使用手册
        • 1. 版本历史
        • 2. 词汇表
        • 3. ECCL 简介
        • 4. ECCL 用户使用手册
        • 5. eccl-tests
      • ECCL API 参考
        • 1. 版本历史
        • 2. ECCL API 参考

集群部署与设备管理

  • TopsCloud 用户使用指南
    • TopsCloud 产品综述
    • 资源管理
      • K8S_Plugin 用户使用手册
        • 1. 版本申明
        • 2. 简介
        • 3. 版本号查看
        • 4. container-toolkit
        • 5. k8s-device-plugin
        • 6. 部署示例
        • 7. 常见问题
      • GCUShare 用户使用手册
        • 1. 版本申明
        • 2. 简介
        • 3. 安装GCUShare组件
        • 4. 使用共享GCU
        • 5. 组件卸载
        • 6. 常见问题
      • Container Toolkit 用户使用手册
        • 1. 版本申明
        • 2. 简介
        • 3. container-toolkit安装包
        • 4. 安装container-toolkit
        • 5. 环境变量
        • 6. 配置文件与日志
        • 7. 查看工具版本号
        • 8. 常见问题
      • GCU Feature Discovery 用户使用手册
        • 1. 版本申明
        • 2. 简介
        • 3. GFD部署
        • 4. all-in-one使用示例
        • 5. 常见问题
      • Node Feature Discovery 用户使用手册
        • 1. 版本申明
        • 2. 简介
        • 3. 部署示例
        • 4. 常见问题
    • 可观测管理
      • GCU-Exporter 用户使用手册
        • 1. 版本申明
        • 2. 简介
        • 3. 查看版本号
        • 4. 端口
        • 5. 指标说明
        • 6. 告警与处理
        • 7. 部署
        • 8. 常见问题
      • GCU Monitor Examples 用户使用手册
        • 1. 版本申明
        • 2. 简介
        • 3. 应用示例
        • 4. 注意事项
    • 部署运维
      • GCU-Operator 用户使用手册
        • 1. 版本申明
        • 2. 背景
        • 3. gcu-operator简介
        • 4. 部署示例
        • 5. 功能分析
        • 6. 常见问题
        • 7. 附录
      • K8s Installer 用户使用手册
        • 1. 版本申明
        • 2. 简介
        • 3. 前置准备
        • 4. 安装依赖包
        • 5. 使用示例
        • 6. 高级功能 - 自定义K8S镜像参考
        • 7. 常见问题
    • 二次开发库
      • GO-Eflib 用户使用手册
        • 1. 版本申明
        • 2. 简介
        • 3. 使用配置
        • 4. 常见问题

合规声明

  • 文档法律声明
燧原软件栈文档中心
  • »
  • 模型推理使用指南 »
  • vLLM-gcu 用户使用手册 »
  • 3. 模型推理及性能评估指南

3. 模型推理及性能评估指南¶

  • 3.1. Aquila
  • 3.2. baichuan2
  • 3.3. bloom
  • 3.4. CharacterGLM
  • 3.5. chatglm2/3
  • 3.6. CodeGeeX
  • 3.7. codellama
  • 3.8. deepseek
  • 3.9. gemma
  • 3.10. gpt-j
  • 3.11. gpt-neox
  • 3.12. internlm
  • 3.13. llama
  • 3.14. Mistral
  • 3.15. opt
  • 3.16. Orion
  • 3.17. Qwen
  • 3.18. starcoder
  • 3.19. vicuna
  • 3.20. WizardCoder
  • 3.21. xuanyuan
  • 3.22. Yi
  • 3.23. Ziya-Coding
Previous Next

Copyright © 2024 上海燧原科技股份有限公司 | 备案/许可证编号：沪ICP备18023946号-1沪公网安备 31011502008689号.

Built with Sphinx using a theme provided by Read the Docs.