3.11. glm4

glm-4-9b

模型下载

从huggingface上下载模型的预训练ckpt,路径记为[path of chatglmckpt]

批量离线推理

python3 -m vllm_utils.benchmark_test \
 --model=[path of chatglmckpt] \
 --demo=tc \
 --output-len=256

性能测试

python3 -m vllm_utils.benchmark_test --perf \
 --model=[path of chatglmckpt] \
 --input-len=1024 \
 --output-len=2048 \
 --num-prompts=16 \
 --block-size=64 \
 --enforce-eager \
 --trust-remote-code

注:

  • glm-4-9b模型支持的max-model-len为8192;

  • input-lenoutput-lennum-prompts可按需调整;

  • 配置 output-len为1时,输出内容中的latency即为time_to_first_token_latency;

glm-4-9b-chat

模型下载

从huggingface上下载下列任意模型的预训练ckpt,路径记为[path of chatglmckpt]

批量离线推理

python3 -m vllm_utils.benchmark_test \
 --model=[path of chatglmckpt] \
 --demo=tc \
 --output-len=256 \
 --max-model-len=33792

性能测试

python3 -m vllm_utils.benchmark_test --perf \
 --model=[path of chatglmckpt] \
 --input-len=32768 \
 --output-len=1024 \
 --num-prompts=1 \
 --block-size=64 \
 --max-model-len=33792 \
 --trust-remote-code

注:

  • glm-4-9b-chat模型支持的max-model-len为128k,gcu单卡当前支持到33792;

  • input-lenoutput-lennum-prompts可按需调整;

  • 配置 output-len为1时,输出内容中的latency即为time_to_first_token_latency;

glm-4-9b-w8a16

本模型推理及性能测试需要1张enflame gcu。

模型下载

  • 如需要下载权重,请联系商务人员开通EGC权限进行下载

  • 下载 glm-4-9b_W8A16.tar 文件并解压,将压缩包内的内容全部拷贝到chatglm_w8a16文件夹中。

  • chatglm_w8a16目录结构如下所示:

chatglm_w8a16/
├── config.json
├── configuration_chatglm.py
├── model.safetensors
├── quantize_config.json
├── tokenization_chatglm.py
├── tokenizer_config.json
├── tokenizer.model
└── tops_quantize_info.json

批量离线推理

python3 -m vllm_utils.benchmark_test \
 --model=[path of chatglm_w8a16] \
 --demo=tc \
 --dtype=float16 \
 --quantization=w8a16 \
 --output-len=256 \
 --max-model-len=8192

性能测试

python3 -m vllm_utils.benchmark_test --perf \
 --model=[path of chatglm_w8a16] \
 --input-len=512 \
 --output-len=2048 \
 --num-prompts=16 \
 --block-size=64 \
 --max-model-len=8192 \
 --dtype=float16 \
 --quantization=w8a16

注:

  • glm-4-9b-w8a16模型支持的max-model-len为8192;

  • input-lenoutput-lennum-prompts可按需调整;

  • 配置 output-len为1时,输出内容中的latency即为time_to_first_token_latency;