3.11. glm4¶
glm-4-9b¶
模型下载¶
从huggingface上下载模型的预训练ckpt,路径记为[path of chatglmckpt]
批量离线推理¶
python3 -m vllm_utils.benchmark_test \
--model=[path of chatglmckpt] \
--demo=tc \
--output-len=256
性能测试¶
python3 -m vllm_utils.benchmark_test --perf \
--model=[path of chatglmckpt] \
--input-len=1024 \
--output-len=2048 \
--num-prompts=16 \
--block-size=64 \
--enforce-eager \
--trust-remote-code
注:
glm-4-9b模型支持的
max-model-len
为8192;input-len
、output-len
和num-prompts
可按需调整;配置
output-len
为1时,输出内容中的latency
即为time_to_first_token_latency;
glm-4-9b-chat¶
模型下载¶
从huggingface上下载下列任意模型的预训练ckpt,路径记为[path of chatglmckpt]
批量离线推理¶
python3 -m vllm_utils.benchmark_test \
--model=[path of chatglmckpt] \
--demo=tc \
--output-len=256 \
--max-model-len=33792
性能测试¶
python3 -m vllm_utils.benchmark_test --perf \
--model=[path of chatglmckpt] \
--input-len=32768 \
--output-len=1024 \
--num-prompts=1 \
--block-size=64 \
--max-model-len=33792 \
--trust-remote-code
注:
glm-4-9b-chat模型支持的
max-model-len
为128k,gcu单卡当前支持到33792;input-len
、output-len
和num-prompts
可按需调整;配置
output-len
为1时,输出内容中的latency
即为time_to_first_token_latency;
glm-4-9b-w8a16¶
本模型推理及性能测试需要1张enflame gcu。
模型下载¶
如需要下载权重,请联系商务人员开通EGC权限进行下载
下载
glm-4-9b_W8A16.tar
文件并解压,将压缩包内的内容全部拷贝到chatglm_w8a16
文件夹中。chatglm_w8a16
目录结构如下所示:
chatglm_w8a16/
├── config.json
├── configuration_chatglm.py
├── model.safetensors
├── quantize_config.json
├── tokenization_chatglm.py
├── tokenizer_config.json
├── tokenizer.model
└── tops_quantize_info.json
批量离线推理¶
python3 -m vllm_utils.benchmark_test \
--model=[path of chatglm_w8a16] \
--demo=tc \
--dtype=float16 \
--quantization=w8a16 \
--output-len=256 \
--max-model-len=8192
性能测试¶
python3 -m vllm_utils.benchmark_test --perf \
--model=[path of chatglm_w8a16] \
--input-len=512 \
--output-len=2048 \
--num-prompts=16 \
--block-size=64 \
--max-model-len=8192 \
--dtype=float16 \
--quantization=w8a16
注:
glm-4-9b-w8a16模型支持的
max-model-len
为8192;input-len
、output-len
和num-prompts
可按需调整;配置
output-len
为1时,输出内容中的latency
即为time_to_first_token_latency;