-
Notifications
You must be signed in to change notification settings - Fork 14
Open
Description
你好,我最近需要对RPTQ进行测试,但是我发现这个代码库似乎并不能直接运行。
原因在于/lm_evaluation/lm_eval这个文件夹下缺少datasets文件夹,我已经尝试过几种方式去解决这个问题:
- 直接使用pip下载lm_eval
这种方法下载的lm_eval同样没有带datasets文件夹,也没有metrics.py文件,同样无法运行 - 尝试从其他版本的lm_eval中复制datasets过来
这种方法虽然带有一定数量需要的dataset,但是和代码库中的tasks下的任务并不完全相符,存在大量缺少dataset的情况。我复制的路径为:ViLLM-Eval。 - 手写datasets
task_guide介绍了如何构造datasets的文件夹的方法,但是我缺少的任务的文件夹实在太多了,这样一个个补实在是太耗时了。
所以请问能否提供原代码库的datasets文件夹呢?我是新转来LLM方向的,因此对很多东西并不是很熟悉,希望见谅。
非常感谢你的帮助!:-)
Metadata
Metadata
Assignees
Labels
No labels