SFT 学习率的疑问

[Zhou-Zoey]

我看到一共训练了 100 轮，但是取了第四轮的结果，是否意味着整个 SFT训练过程几乎都是以最高学习率进行了（除了 warmup 阶段），而没有进行 decay 阶段？

[juemifuji]

我看到一共训练了 100 轮，但是取了第四轮的结果，是否意味着整个 SFT训练过程几乎都是以最高学习率进行了（除了 warmup 阶段），而没有进行 decay 阶段？

是的，我们在一阶段训练时，保持了比较高的学习率。