只用一个任务进行指令精调

[Antiman-cmyk]

请问有没有人试过只用于一个任务进行指令精调的效果，或者说这样做合不合理呢？我尝试了用不同instructions的表达方式，但是任务监督的目标是一致的，发现这样训练的loss特别小，大概只有零点几，然后大模型的能力都退化了，测试阶段只会做tune过的这一个任务，而且不理解输入的prompt，不管输入什么，都是只做训练的任务，感觉和以前普通的小模型一样，想请教一下有什么改进方式呢？