vLLM-gcu(v0.8.0)用户使用手册

vLLM-gcu是适配于燧原S60 gcu的vLLM，用于支持在Enflame gcu上运行各LLM的推理。

目录

• 1. 版权声明
• 2. 总体介绍
  • 2.1. vLLM
  • 2.2. vLLM-gcu
  • 2.3. 版本信息与使用注意事项
• 3. 安装
  • 3.1. 安装
    • 软硬件需求
    • 安装内容
      • vllm安装
• 4. 使用指南
  • 4.1. 大语言模型功能及性能测试
    • 离线推理测试
    • 性能测试
  • 4.2. 大语言模型数据集精度验证
    • 环境配置
    • 方法
  • 4.3. 视觉大语言模型测试
    • 离线推理测试
    • 性能测试
    • 数据集精度测试
      • 数据集下载
        • llava-bench-coco
        • MMMU
        • videomme
      • 使用
  • 4.4. serving mode
    • 额外依赖
    • 修改内容
    • 大语言模型测试
  • 4.5. 量化
    • 功能介绍
    • 量化过程
    • 使用方法
  • 4.6. fusedmoe
    • 功能介绍
    • 使用方法
  • 4.7. multilora
    • 使用方法
    • 示例
  • 4.8. Auto prefix caching
    • 功能介绍
    • 离线推理
    • 性能测试
  • 4.9. Chunked prefill
    • 功能介绍
    • 使用方法
    • 性能测试
  • 4.10. speculative decoding
    • 功能介绍
    • 使用方法
    • 性能测试
      • Speculating with a draft model
      • Speculating by matching ngrams in the prompt
  • 4.11. 新增模型
• 5. 模型推理及性能评估指南
  • 5.1. 已支持的大语言模型列表
  • 5.2. DeepSeek
    • DeepSeek-R1-Distill-Qwen-1.5B
      • 模型下载
      • 批量离线推理
      • serving模式
    • DeepSeek-R1-Distill-Qwen-7B
      • 模型下载
      • 批量离线推理
      • serving模式
    • DeepSeek-R1-Distill-Qwen-14B
      • 模型下载
      • 批量离线推理
      • serving模式
    • DeepSeek-R1-Distill-Qwen-32B
      • 模型下载
      • 批量离线推理
      • serving模式
    • DeepSeek-R1-Distill-Llama-8B
      • 模型下载
      • 批量离线推理
      • serving模式
    • DeepSeek-R1-Distill-Llama-70B
      • 模型下载
      • 批量离线推理
      • serving模式
    • DeepSeek-R1-awq
      • 模型下载
      • 使用TP+PP的并行方案部署模型
        • 设置环境变量
        • 启动ray集群
        • 批量离线推理
        • 性能测试
      • 使用EP+DP的并行方案部署模型
        • 性能测试
    • DeepSeek-V3-awq
      • 模型下载
      • 使用TP+PP的并行方案部署模型
        • 设置环境变量
        • 启动ray集群
        • 性能测试
      • 使用EP+DP的并行方案部署模型
        • 性能测试
    • DeepSeek-Prover-V2-7B
      • 模型下载
      • 批量离线推理
      • serving模式
  • 5.3. GLM4
    • GLM-4-9b-chat
      • 模型下载
      • 批量离线推理
      • 性能测试
    • GLM-Z1-32B-0414-GPTQ-Int4
      • 模型下载
      • 批量离线推理
      • serving模式
  • 5.4. InternLM
    • internlm2_5-7b-chat-w4a16-gptq
      • 模型下载
      • 批量离线推理
      • 性能测试
  • 5.5. Llama
    • Llama2-70b
      • 模型下载
      • 批量离线推理
      • 性能测试
      • 基于OpenCompass进行mmlu数据集评测
    • Meta-Llama-3-8B
      • 模型下载
      • 批量离线推理
      • 性能测试
    • Meta-Llama-3-70B
      • 模型下载
      • 批量离线推理
      • 性能测试
    • Llama2-13b-w8a16_gptq
      • 模型下载
      • 批量离线推理
      • 性能测试
    • Llama2-70b-w8a16_gptq
      • 模型下载
      • 批量离线推理
      • 性能测试
    • Llama3-8b-w8a16_gptq
      • 模型下载
      • 批量离线推理
      • 性能测试
    • Llama3-70b-w8a16_gptq
      • 模型下载
      • 批量离线推理
      • 性能测试
    • Meta-Llama-3.1-8B-Instruct
      • 模型下载
      • requirements
      • 批量离线推理
      • 性能测试
    • Meta-Llama-3.1-70B-Instruct
      • 模型下载
      • requirements
      • 批量离线推理
      • 性能测试
    • Llama3-70b-w4a16
      • 模型下载
      • 批量离线推理
      • 性能测试
    • Meta-Llama-3.1-70B-Instruct-w4a16
      • 模型下载
      • requirements
      • 批量离线推理
      • 性能测试
    • Llama-3.3-70B-Instruct
      • 模型下载
      • 批量离线推理
      • serving模式
  • 5.6. Mistral
    • Mixtral-8x22B-Instruct-v0.1
      • 模型下载
      • 安装依赖
      • 批量离线推理
      • 性能测试
  • 5.7. Qwen
    • Qwen2-72B-padded-w8a16_gptq
      • 模型下载
      • 批量离线推理
      • 性能测试
    • Qwen1.5-110B-Chat-w8a16_gptq
      • 模型下载
      • 批量离线推理
      • 性能测试
    • Qwen2.5-32B-Instruct-GPTQ-Int8_w8a16
      • 模型下载
      • 批量离线推理
      • serving模式
    • Qwen2.5-72B-Instruct-GPTQ-Int8_w8a16
      • 模型下载
      • 批量离线推理
      • serving模式
    • Qwen2.5-0.5B-Instruct
      • 模型下载
      • 批量离线推理
      • serving模式
    • Qwen2.5-Coder-32B-Instruct
      • 模型下载
      • requirements
      • 批量离线推理
      • 性能测试
    • QwQ-32B
      • 模型下载
      • 批量离线推理
      • serving模式
    • QWen3-30B-A3B
      • 模型下载
      • 批量离线推理
      • serving模式
    • QWen3-30B-A3B-AWQ
      • 模型下载
      • 批量离线推理
      • serving模式
    • Qwen3-32B-AWQ
      • 模型下载
      • 批量离线推理
      • serving模式
    • Qwen3-32B
      • 模型下载
      • 批量离线推理
      • serving模式
    • Qwen3-235B-A22B-AWQ
      • 模型下载
      • 批量离线推理
      • serving模式
  • 5.8. Jina
    • Jina-reranker-v2-base-multilingual
      • 模型下载
      • requirement
      • 在线推理
      • 性能测试
  • 5.9. Alibaba-NLP
    • gte-Qwen2-7B-instruct
      • 模型下载
      • 在线推理
      • 性能测试
• 6. 多模态模型
  • 6.1. 已支持的视觉大模型列表
  • 6.2. llava
    • llava-1.5-7b-hf
      • 模型下载
      • requirements
      • 批量离线推理
      • 数据集测试
  • 6.3. deepseek-vl
    • deepseek-vl2
      • 模型下载
      • requirements
      • 在线推理
      • 性能测试
  • 6.4. MiniCPM-V
    • MiniCPM-V-2_6
      • 模型下载
      • requirements
      • 批量离线推理
        • 图像推理
        • 视频推理
      • 性能测试
      • 数据集测试
    • MiniCPM-o-2_6
      • 模型下载
      • requirements
      • 批量离线推理
        • 图像推理
        • 视频推理
      • 性能测试
  • 6.5. Internvl
    • InternVL2-8B
      • 模型下载
      • 批量离线推理
        • 图像推理
        • 视频推理
      • 性能测试
        • 单图性能测试
        • 多图性能测试
    • InternVL2_5-2B
      • 模型下载
      • 批量离线推理
        • 图像推理
        • 视频推理
      • 性能测试
        • 单图性能测试
        • 多图性能测试
    • InternVL2_5-78B
      • 模型下载
      • 批量离线推理
        • 图像推理
        • 视频推理
      • 性能测试
        • 单图性能测试
        • 多图性能测试
  • 6.6. Qwen-VL
    • Qwen2-VL-2B-Instruct
      • 模型下载
      • requirements
      • 批量离线推理
      • 性能测试
    • Qwen2-VL-7B-Instruct-GPTQ-Int4
      • 模型下载
      • requirements
      • 批量离线推理
      • 性能测试
    • Qwen2-VL-72B-Instruct-GPTQ-Int8
      • 模型下载
      • requirements
      • 批量离线推理
        • 图像推理
        • 视频推理
      • 性能测试
        • 单图性能测试
        • 多图性能测试
    • Qwen2.5-VL-3B-Instruct
      • 模型下载
      • 批量离线推理
        • 图像推理
        • 视频推理
      • 性能测试
    • QVQ-72B-Preview
      • 模型下载
      • requirements
      • 批量离线推理
        • 图像推理
        • 视频推理
      • 性能测试
  • 6.7. Llava-next
    • Llama3-llava-next-8b-hf
      • 模型下载
      • requirements
      • 批量离线推理
      • 性能测试
    • Llava-onevision-qwen2-72b-ov-chat-hf
      • 模型下载
      • requirements
      • 批量离线推理
        • 图像推理
        • 视频推理
      • 性能测试
        • 图像性能测试
        • 视频性能测试
  • 6.8. Phi3v
    • Phi-3-vision-128k-instruct
      • 模型下载
      • 批量离线推理
      • 性能测试
  • 6.9. GOT-OCR
    • GOT-OCR-2.0-hf
      • 模型下载
      • requirements
      • 批量离线推理
      • 性能测试