3.1. 安装

软硬件需求

• OS：ubuntu 20.04 & 22.04

• Python：3.8 - 3.10

• 加速卡：燧原S60

安装内容

以下步骤基于拟使用的 Python3版本, 请先安装对应python3版本的所需依赖，需要在docker内安装：

• 安装环境：安装过程请参考《TopsRider软件栈安装手册》，请根据手册完成TopsRider软件栈安装;

vllm安装

首先通过如下命令检查vllm及相关依赖是否已经安装：

python3 -m pip list | grep vllm
python3 -m pip list | grep xformers
python3 -m pip list | grep tops-extension
python3 -m pip list | grep torch-gcu
python3 -m pip list | grep torch
python3 -m pip list | grep torchvision

如果已经正常安装，在x86_64架构下可以显示如下内容：

vllm                              <version>+gcu
xformers                          <version>
tops-extension                    <version>
torch-gcu                         2.3.0+<version>
torch                             2.3.0+cpu
torchvision                       0.18.0+cpu

如果未安装，可以通过以下两种安装方式完成vllm安装：

• 通过TopsRider安装：

./Topsrider_xxx.run -y -C vllm

• 通过whl包安装：

# 安装vllm的依赖库
python3 -m pip install torch==2.3.0+cpu -i https://download.pytorch.org/whl/cpu
python3 -m pip install torchvision==0.18.0 -i https://download.pytorch.org/whl/cpu
python3 -m pip install torch_gcu-2.3.0+<version>*.whl
python3 -m pip install tops_extension-<version>*.whl
python3 -m pip install xformers-<version>*.whl

# 安装vllm库
python3 -m pip install vllm-0.6.1.post2+<version>*.whl