p/vllm%E5%90%AF%E5%8A%A8%E6%97%B6nccl%E9%81%87%E5%88%B0%E6%98%BE%E5%8D%A1p2p%E9%80%9A%E4%BF%A1%E9%97%AE%E9%A2%98/

[utterances-bot]

VLLM启动时NCCL遇到显卡P2P通信问题

背景 使用Xinference（VLLM）启动Qwen1.5-110b-awq模型，需要把模型加载到多块显卡上。 系统配置 1 2 3 4 5 6 7 8 OS: Ubuntu 24.04

https://huo.zai.meng.li/p/vllm%E5%90%AF%E5%8A%A8%E6%97%B6nccl%E9%81%87%E5%88%B0%E6%98%BE%E5%8D%A1p2p%E9%80%9A%E4%BF%A1%E9%97%AE%E9%A2%98/

[Dax-Zhang-pxy]

我遇到了跟您相同的问题，使用的RTX 4090的卡，关闭ACS后，重新启动还是不行，还是卡在同样的地方。