360-LLAMA-Factory框架能否实现长序列的训练加速？还是说只是会减少显存占用？

[StarDewXXX]

例如，原生的LLaMA Factory可以在4k长度下对7B模型进行DPO full finetune，使用 360-LLAMA-Factory后，训练速度会提升吗？

[HaoshengZou]

不会加速，序列并行是为了训练更长的序列 在 2025-03-15 22:05:55，"Noah" ***@***.***> 写道： 例如，原生的LLaMA Factory可以在4k长度下对7B模型进行DPO full finetune，使用 360-LLAMA-Factory后，训练速度会提升吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***> StarDewXXX created an issue (Qihoo360/360-LLaMA-Factory#30) 例如，原生的LLaMA Factory可以在4k长度下对7B模型进行DPO full finetune，使用 360-LLAMA-Factory后，训练速度会提升吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>