4.1. 已支持的大语言模型列表

表 4.1.1 已支持的大语言模型(注：.表示尚未测试)

模型	FP16	BF16	W4A16 GPTQ	W8A16 GPTQ	W4A16 AWQ	W8A16	W8A8 INT8	INT8 KV
DeepSeek-R1-Distill-Qwen-8B	Y	Y	.	.	.	.	.	.
DeepSeek-R1-Distill-Qwen-14B	Y	Y	.	.	.	.	.	.
DeepSeek-R1-Distill-Qwen-1.5B	Y	Y	.	.	.	.	.	.
DeepSeek-R1-Distill-Qwen-7B	Y	Y	.	.	.	.	.	.
DeepSeek-R1-awq	.	.	.	.	Y	.	.	.
Qwen2.5-vl-3B	Y	Y	.	.	.	.	.	.
Qwen2.5-vl-7B	Y	Y	.	.	.	.	.	.
Qwen3-8B	Y	Y	.	.	.	.	.	.
Qwen3-32B	Y	Y	.	.	.	.	.	.
QwQ-32B	Y	Y	.	.	.	.	.	.
Meta-Llama-3.1-8B	Y	Y	.	.	.	.	.	.
LLaMA-2-7B	Y	Y	.	.	.	.	.	.