疲劳测试OOM

[reallax]

自查清单

在提交 issue 之前，请确保您已完成以下步骤:

• 我已仔细阅读了相关使用说明文档
• 我已查看了常见问题解答
• 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

问题描述

用evalscope进行压测，疲劳测试，压测进程会oom。

EvalScope 版本（必填）

pip list | grep eval
evalscope 1.0.2

使用的工具

• Native / 原生框架
• Opencompass backend
• VLMEvalKit backend
• RAGEval backend
• Perf / 模型推理压测工具
• Arena / 竞技场模式

执行的代码或指令

nohup evalscope perf \
    --parallel 80 \
    --number 376000 \
    --rate 100 \
    --model 'Local/qwen-3-30b' \
    --url 'https://abc.com/v1/chat/completions' \
    --api openai \
    --dataset openqa \
    --connect-timeout 30 \
    --read-timeout 60 > perf_test_202510141038.log 2>&1 &

错误日志

#系统错误日志
kernel: oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=user.slice,mems_allowed=0,global_oom,task_memcg=/user.slice/user-1000.slice/session-14397.scope,task=evalscope,pid=1389987,uid=1000   
kernel: Out of memory: Killed process 1389987 (evalscope) total-vm:17422176kB, anon-rss:14819268kB, file-rss:2560kB, shmem-rss:0kB, UID:1000 pgtables:29576kB oom_score_adj:0
kernel: systemd-journald[769844]: Under memory pressure, flushing caches. 

压测程序没有错误日志（只有系统错误日志）

运行环境

• 操作系统：Ubuntu
• Python版本：3.13.5

其他信息

无

[Yunnglin]

请问evalscope程序正常启动了吗，是运行一段时间之后出现的这个问题吗？

[reallax]

请问evalscope程序正常启动了吗，是运行一段时间之后出现的这个问题吗？

正常启动了，能稳定跑1个小时左右。期间的请求也是正常的。但能观测到，内容占用越来越高，直到oom。

[Yunnglin]

benchmark() 里把 376,000 个 send_request 任务都 append 到列表，直到最后才 gather，导致任务对象常驻内存了。我修复一下这个问题。

[Yunnglin]

该问题已修复，你可以安装main分支的代码再试试