vLLM-gcu(v0.6.1.post2)用户使用手册

vLLM-gcu是适配于燧原S60 gcu的vLLM，用于支持在Enflame gcu上运行各LLM的推理。

目录

• 1. 版权声明
• 2. 总体介绍
  • 2.1. vLLM
  • 2.2. vLLM-gcu
  • 2.3. 版本信息与使用注意事项
• 3. 安装
  • 3.1. 安装
    • 软硬件需求
    • 安装内容
      • vllm安装
• 4. 使用指南
  • 4.1. 大语言模型功能及性能测试
    • 离线推理测试
    • 性能测试
  • 4.2. 大语言模型数据集精度验证
    • 环境配置
    • 方法
  • 4.3. 视觉大语言模型测试
    • 离线推理测试
    • 性能测试
    • 数据集精度测试
      • 数据集下载
        • llava-bench-coco
        • MMMU
        • videomme
      • 使用
  • 4.4. serving mode
    • 修改内容
    • 大语言模型测试
  • 4.5. 量化
    • 功能介绍
    • 量化过程
    • 使用方法
  • 4.6. fusedmoe
    • 功能介绍
    • 使用方法
  • 4.7. multilora
    • 使用方法
    • 示例
  • 4.8. Auto prefix caching
    • 功能介绍
    • 离线推理
    • 性能测试
  • 4.9. Chunked prefill
    • 功能介绍
    • 使用方法
    • 性能测试
  • 4.10. speculative decoding
    • 功能介绍
    • 使用方法
    • 性能测试
      • Speculating with a draft model
      • Speculating by matching ngrams in the prompt
  • 4.11. 新增模型
• 5. 模型推理及性能评估指南
  • 5.1. 已支持的大语言模型列表
  • 5.2. chatglm3
    • chatglm3-6b
      • 模型下载
      • 批量离线推理
      • 性能测试
    • chatglm3-6b-w8a16_gptq
      • 模型下载
      • 批量离线推理
  • 5.3. llama
    • llama2-70b-w8a8c8
      • 模型下载
      • 批量离线推理
      • 性能测试
    • Meta-Llama-3.1-70B-Instruct_W8A8C8
      • 模型下载
      • 批量离线推理
      • 性能测试
    • llama2-70b-w4a16c8
      • 模型下载
      • 批量离线推理
      • 性能测试
  • 5.4. Qwen
    • Qwen2-72B-w8a8c8
      • 批量离线推理
      • serving模式
  • 5.5. Yi
    • Yi-34B-Chat-w8a16_gptq
      • 模型下载
      • 批量离线推理
      • serving模式