预训练时长

[ADaBenxiong]

您好，想要向您请教一下，预训练使用了多大数据量的数据，训练了多长时间。比赛中给出的训练集是作为下游任务进行微调，还是在预训练过程中也使用了该数据。不胜感激