6.1. 已支持的视觉大模型列表

表 6.1.1 已支持的视觉大语言模型(注:.表示尚未测试)

模型

FP16

BF16

W4A16 GPTQ

W8A16 GPTQ

LLaVa

Y

.

.

.

GLM-4V

.

Y

.

.

DeepSeek-VL

.

Y

.

.

InternVL1.5

.

Y

.

.

InternVL2

.

Y

.

.

InternVL2.5

.

Y

.

.

LLaVa-Next

Y

.

.

.

MiniCPM-V

Y

.

.

.

Phi-3-vision

.

Y

.

.

Qwen-VL

.

Y

.

.

Qwen2-VL

Y

.

Y

Y

Qwen2.5-VL

.

Y

.

.

Yi-VL

.

Y

.

.