SGLang用户使用手册

SGLang-GCU是适配于燧原 GCU 的SGLang, 用于支持在 Enflame GCU 上基于 python 运行LLM类模型的推理。

目录

• 1. 版权声明
• 2. 前言
  • 2.1. 版本信息
• 3. 用户指南
  • 3.1. SGLang简介
    • SGLang-GCU 软件安装
    • SGLang server参数说明
      • Model,processor and tokenizer
      • Serving: HTTP & API
      • Parallelism
      • Multi-node distributed serving
      • Sampling
    • 高级特性使用
      • Quantization
    • 分布式部署
      • 整体视图：
      • IP配置：
      • server配置：
      • router配置：
      • client发起请求：
• 4. 模型推理及性能评估指南
  • 4.1. 已支持的大语言模型列表
  • 4.2. DeepSeek 系列
    • 介绍
      • DeepSeekR1
      • DeepSeek-R1-Distill-Qwen-14B
      • DeepSeek-R1-Distill-Llama-8B
  • 4.3. Qwen 系列
    • 介绍
      • Qwen2.5-VL-3B-Instruct