多机多卡并行计算的一些疑惑。 #3171
Unanswered
Vvvvvvsysy
asked this question in
Community | Q&A
多机多卡并行计算的一些疑惑。
#3171
Replies: 1 comment
-
Hi @Vvvvvvsysy 多卡和单卡完全一样,多卡配置应该是不太对没有起到效果。 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
你好,我们最近在使用colossalai进行多机多卡大模型训练,我们使用的是双机八卡A100 80G 使用的模型架构是gpt-2类模型。
目前的一个疑惑就是,我们在使用单机单卡、单机多卡和单机八卡甚至多机多卡时,在所有的设置下,模型训练的时间、显卡占用的显存都是一样的,这使得我们不能很好的利用我们的计算资源。虽然colossalai在单机单卡设置下训练速度已经远超其他方法,但是我们想充分利用起我们的计算资源,进而大幅度减少我们在模型训练上花的时间。
希望您能解答上面的问题!
助生活愉快!
Beta Was this translation helpful? Give feedback.
All reactions