Skip to content

LLama训练过程中,训练的语料对原有问题的回答有干扰时,这种情况该如何调参。 #119

@lijiecheng

Description

@lijiecheng

1、使用LLama训练语料的过程中,当语料中有较多图1格式的问答时,在提问和训练的语料无关的问题,回答结果会按照训练的语料格式进行回答。源2.0在进行大预言训练的时候,如果某一种格式的语料较多时,对非语料中的问题进行提问时,会产生产生干扰,这种情况要如何调参
图片1

图1

图片2

图2

2、训练出来的语料在提问的时候,会出现一直循环打印相同的内容

图片3

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions