2024年2月23日，Huggingface 模型配置文件和权重更新

[zRzRzRzRzRzRzR]

2024年2月23日，chatglm3-6b 中 special token 导致的chat_template 问题修复

请大家前往Huggingface进行更新。

访问地址：https://huggingface.co/THUDM/chatglm3-6b

[morettt]

我就说怎么拉取模型老不成功，原来大了一倍

[zRzRzRzRzRzRzR]

是的，只要关注safetensor就行了，bin文件是老的，但是没删

[lukeewin]

Thank you, that means I need to rm -rf *.bin?

[zRzRzRzRzRzRzR]

remain tokenizer_model.bin

[zRzRzRzRzRzRzR]

2024年2月5日，chatglm3-6b 的 Huggingface 模型配置文件已经更新，适配了transformer 4.37.2 版本

[ifsheldon]

@zRzRzRzRzRzRzR ModelScope 的模型一起更新了吗？我用vllm 的 docker 跑，会提示 No chat template provided. Chat API will not work.

我的命令是

sudo docker run -d --gpus all \  
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    -v ~/.cache/modelscope:/root/.cache/modelscope \
    --env "VLLM_USE_MODELSCOPE=True" \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai-modelscope:latest \
    --model="ZhipuAI/chatglm3-6b" \
    --served-model-name="chatglm3-6b" \
    --gpu-memory-utilization=0.85 \
    --tensor-parallel-size=2 \
    --trust-remote-code

然后我看了一下 huggingface 的文档 https://huggingface.co/docs/transformers/main/chat_templating#what-template-should-i-use

写了它里面提供的一段对话模板

sudo docker run -d --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    -v ~/.cache/modelscope:/root/.cache/modelscope \
    --env "VLLM_USE_MODELSCOPE=True" \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai-modelscope:latest \
    --model="ZhipuAI/chatglm3-6b" \
    --served-model-name="chatglm3-6b" \
    --gpu-memory-utilization=0.85 \
    --tensor-parallel-size=2 \
    --trust-remote-code \
    --chat-template="{% if not add_generation_prompt is defined %}{% set add_generation_prompt = false %}{% endif %}{% for message in messages %}{{'<|im_start|>' + message['role'] + '\n' + message['content'] + '<|im_end|>' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant\n' }}{% endif %}"

但是我不确定是不是对的

PS:
vllm/vllm-openai-modelscope:latest这个镜像是我自己编译的，就仅仅是在官方的 Dockerfile 加了一句pip install modelscope而已