PaddleOCR VL模型在内网机器如何提供标准OpenAI格式服务 #16721

Closed Unanswered

linsicong000 asked this question in Q&A

linsicong000
Oct 18, 2025

如题，想把PaddleOCR VL模型接入进行测试，GPU机器都是内网机器，原有的测试链路都是基于OpenAI格式接口构建；

当前内网VL模型主要是两种：

在A100上用vllm进行推理；
在910B上用vllm-ascend进行推理；

当前有可用的最佳实践吗，文档里都是使用命令行做推理，且对支持的机器型号/环境要求都无提及，望指导；

Replies: 0 comments

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment