evalscope 多次评测结果时发现输出不一致

[freedom-cui]

我正在使用最新的evalscope评测humaneval数据集，并使用vllm推理，下面是我的评测脚本
使用evalscope后我观察最终的输出发现output并不完全一致
输入的prompt是同一个prompt，同时vllm使用temperature=0
请问这个现象是合理现象么？

# humaneval
evalscope eval \
  --model ${MODEL_PATH} \
  --api-url ${BASE_URL}/${VERSION}/chat/completions \
  --api-key "EMPTY" \
  --eval-type openai_api --datasets humaneval \
  --dataset-args '{"humaneval": {"subset_list":["openai_humaneval"], "filters": {"remove_until": "</think>"}}}' \
  --generation-config max_tokens=16384,temperature=0,safety_level=none \
  --timeout 10000 \
  --limit 2 \
  --seed 1234 \

[Yunnglin]

这是有可能的，即使temperature设置为0，模型返回的结果也可能不同

[freedom-cui]

这是有可能的，即使temperature设置为0，模型返回的结果也可能不同

十分感谢你的回复，这是什么原因呢请问？ vllm 设置了temperature=0 不是应该每次生成的结果都相同么？ 使用evalscope时候我固定了seed，机器相同跑多次确实得到了不同的结果，这让我很困惑，希望得到您的解答，感谢

[Yunnglin]

你可以看下这个讨论：vllm-project/vllm#17759