如何在对外服务中使用多卡呢

[123wuxin123]

gradio目录中只是单卡示例，如何能在如fastapi服务框架中，使用多卡，用来提高生成速度。

[SamitHuang]

请问你指的是哪个模型呢？

[123wuxin123]

wan2.1-14b

[SamitHuang]

wan2.1-14b

Thanks for letting me know. 可以参考https://github.com/mindspore-lab/mindone/blob/master/examples/wan2_1/generate.py这个离线推理脚本把序列并行SP加到gradio demo中。请问你有兴趣试试、贡献PR吗？