Skip to content

lm_eval缺少datasets文件夹 #14

@Ther-LF

Description

@Ther-LF

你好,我最近需要对RPTQ进行测试,但是我发现这个代码库似乎并不能直接运行。
原因在于/lm_evaluation/lm_eval这个文件夹下缺少datasets文件夹,我已经尝试过几种方式去解决这个问题:

  1. 直接使用pip下载lm_eval
    这种方法下载的lm_eval同样没有带datasets文件夹,也没有metrics.py文件,同样无法运行
  2. 尝试从其他版本的lm_eval中复制datasets过来
    这种方法虽然带有一定数量需要的dataset,但是和代码库中的tasks下的任务并不完全相符,存在大量缺少dataset的情况。我复制的路径为:ViLLM-Eval
  3. 手写datasets
    task_guide介绍了如何构造datasets的文件夹的方法,但是我缺少的任务的文件夹实在太多了,这样一个个补实在是太耗时了。

所以请问能否提供原代码库的datasets文件夹呢?我是新转来LLM方向的,因此对很多东西并不是很熟悉,希望见谅。
非常感谢你的帮助!:-)

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions