Skip to content

创建预训练的数据时, article['input_ids'].append(0),最后时0,但是在demo里eos确是102,这是什么原因 #89

@joytianya

Description

@joytianya

创建预训练的数据时, article['input_ids'].append(0),最后时0,但是在demo里eos确是102,如果在预训练数据中没有102,那结束字符很难会出现102([sep])字符吧,但是在运行demo时确实有sep,想问下,是不是article['input_ids'].append(0)应该是article['input_ids'].append(102)?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions