6.1. llava

llava-1.5-7b-hf

模型下载

• url: llava-1.5-7b-hf

• branch: main

• commit id: fa3dd2809b8de6327002947c3382260de45015d4

• 将上述url设定的路径下的内容全部下载到llava-1.5-7b-hf文件夹中。

批量离线推理

python3 -m vllm_utils.benchmark_vision_language \
 --demo \
 --model-type=llava \
 --model=[path of llava-1.5-7b-hf] \
 --device=gcu \
 --input-image=[path of your test image] \
 --prompt=[your prompt]

注：

• 默认为graph mode推理，若想使用eager mode，请添加--enforce-eager；

数据集测试

python3 -m vllm_utils.benchmark_vision_language \
 --rouge \
 --perf \
 --model-type=llava \
 --model=[path of llava-1.5-7b-hf] \
 --device=gcu \
 --block-size=64 \
 --input-dataset=llava-bench-coco \
 --dataset=[path of dataset] \
 --batch-size=[batch size] \
 --save-output=[inference result file]

注：

• 需将llava-bench-coco文件下载到本地，并设置--dataset指向其存储路径；

• --save-output设置推理结果的保存文件，后缀名为json。若不设置该参数，则不保存推理结果；

• 默认为graph mode推理，若想使用eager mode，请添加--enforce-eager；