2.1. 安装

软硬件需求

• OS：ubuntu 20.04

• Python：3.8 - 3.10

• 加速卡：燧原S60

安装内容

以下步骤基于 Python3.8, 请先安装所需依赖，需要在docker内安装：

• 安装环境：安装过程请参考《TopsRider软件栈安装手册》，请根据手册完成TopsRider软件栈安装;

vllm安装

首先通过如下命令检查vllm及相关依赖是否已经安装：

python3.8 -m pip list | grep vllm
python3.8 -m pip list | grep xformers
python3.8 -m pip list | grep tops-extension

如果已经正常安装，可以显示如下内容：

vllm                              <version>+gcu
xformers                          <version>
tops-extension                    <version>

如果未安装，可以通过以下2种安装方式完成vllm安装：

• 通过TopsRider安装：

./Topsrider_xxx.run -y -C vllm

• 通过whl包安装：

# 安装vllm库
python3.8 -m pip install vllm-<version>+gcu-*-none-any.whl
# 安装vllm的依赖库
python3.8 -m pip install xformers-<version>*.whl
python3.8 -m pip install tops_extension-<version>*.whl