32k模型多卡推理时出现CUDA out of memory

[tmclouisluk]

使用web_demo_streamlit.py, 用3张P100, 一张大约有16GB
load模型没有问题, 可以切割成3份到3张P100
但prompt token量大的时候, 好像只能用1张P100去推理
一直卡在
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 10.90 GiB (GPU 0; 15.90 GiB total capacity; 4.19 GiB already allocated; 10.70 GiB free; 4.31 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

请问可以如何解决

[zRzRzRzRzRzRzR]

毕竟进来的时候是要把完整的tensor先放在一张卡的

另外，P100架构太老了，各种不兼容也有可能，建议使用sm80以上的卡

[tmclouisluk]

那32k token大约需要多少memory

[imagebody]

32k微调时候,23G显存都不够，也报OutOfMemoryError。

[zRzRzRzRzRzRzR]

官方demo的显卡要求是针对128 token的，随着token越长，需要的显存越大，而且增长非常快，1024token 24G应该不够了

[zainCSU]

请问有什么解决办法吗？单卡不够双卡报错，换成非32k的会不会好一点

[zRzRzRzRzRzRzR]

只要长度不长显存增加就没有那么快吧