vLLM-gcu 用户使用手册¶
vLLM-gcu 是适配于燧原S60 gcu 的 vLLM，用于支持在 enflame gcu 上运行各 LLM 的推理。
目录
- 1. 前言
- 2. 安装
- 3. 模型推理及性能评估指南
- 3.1. Aquila
- 3.2. baichuan2
- 3.3. bloom
- 3.4. CharacterGLM
- 3.5. chatglm2/3
- 3.6. CodeGeeX
- 3.7. codellama
- 3.8. deepseek
- 3.9. gemma
- 3.10. gpt-j
- 3.11. gpt-neox
- 3.12. internlm
- 3.13. llama
- 3.14. Mistral
- 3.15. opt
- 3.16. Orion
- 3.17. Qwen
- 3.18. starcoder
- 3.19. vicuna
- 3.20. WizardCoder
- 3.21. xuanyuan
- 3.22. Yi
- 3.23. Ziya-Coding
- 4. 数据集精度验证