OCRv5识别打开MKLDNN没有速度提升，Paddlepaddle CPU版本3.0.0/3.1.0 打开MKLDNN= True

[lemonschwein]

bug描述 Describe the Bug

OCRv5识别打开MKLDNN没有速度提升，Paddlepaddle CPU版本3.0.0/3.1.0 打开MKLDNN= True

ocr = PaddleOCR(
text_detection_model_name="PP-OCRv5_mobile_det",
text_recognition_model_name="PP-OCRv5_mobile_rec",
enable_mkldnn=True, # 启用Intel MKLDNN加速）

其他补充信息 Additional Supplementary Information

No response

[zhangyuqin1998]

麻烦使用PaddleOCR 3.1以上的版本吧，这个问题在PaddleOCR 3.1以上版本已经修复～

[lemonschwein]

谢谢回复。我只用了paddlepaddle cpu版本，不准备用GPU加速功能。所以想要通过MKLDNN来加速。

处理器CPU：13th Gen Intel(R) Core(TM) i7-1360P，2200 Mhz，12 个内核，16 个逻辑处理器

另外我再paddleOCR的github上看到以下信息：2025.06.26: PaddleOCR 3.0.3 发布

• Bug修复：修复enable_mkldnn参数不生效的问题，恢复CPU默认使用MKL-DNN推理的行为。 （所以我也试了paddle3.1.0，但是MKLDNN还是没有加速效果，或者说paddle是不是默认开启了MKL-DNN = True？，但是我一开始输出结果MKLDNN是False的）

如果可以，请问有其他渠道反馈问题？或者可以更快沟通的通道吗？我最近再用OCRv5去做一些事情的时候，发生很多新版本上因为说明不全导致进展缓慢的问题，比如说最新的OCRv5不能再用det= ， res= 分开确认检测和识别的模型。 另外paddle2onnx上也有很大的问题，很多时候是版本不匹配导致转化不成功。

感谢您的帮助，谢谢。
祝工作顺利！ ：）

[lemonschwein]

您好，我昨天已经升级过paddle到3.1.0了（应该是最新版本），但是没有加速效果

[lemonschwein]

另外在PaddleOCR()调用的时候，enable_hpi=True, # 高性能推理 开启会报错误。
RuntimeError: The high-performance inference plugin is not available. Please install it properly.

还有就是cpu_threads=16, # 设置CPU线程数(根据实际CPU核心数调整) ， 我在配置这个参数的时候没有发现有什么加速效果

[zhangyuqin1998]

您好，可以使用PaddleOCR的3.1版本，不是Paddle主框架的3.1版本～ https://github.com/PaddlePaddle/PaddleOCR

反馈渠道可以扫一下这个链接里的社群二维码试试？https://github.com/PaddlePaddle/PaddleOCR/blob/main/README_cn.md

[lemonschwein]

您好，我是7月15日直接在github上面下载PaddleOCR的源码，解压缩后应用在我的项目里。根据官方信息：2025.06.29: PaddleOCR 3.1.0 发布。我的PaddleOCR版本应该就是3.1.0版本。但是这个MKLDNN就是没有效果。

另外源码下载的PaddleOCR里面的setup.py 看不到版本号码。

谢谢您提供的社群二维码

[Bobholamovic]

你好，下面是对issue中提到但尚未解决的问题的回复：

1. 打开MKLDNN没有速度提升

   考虑到PaddleOCR的默认行为就是“如果MKL-DNN可用，就使用之”，显式设置enable_mkldnn=True和不设置这个参数的效果一致，应该是符合预期的。如果你发现enable_mkldnn=True和enable_mkldnn=False的推理耗时相近，可能不符合预期，请向我们汇报。

   对于：

   一开始输出结果MKLDNN是False的

   请问你是如何确定“MKLDNN是False”的呢？

2. “发生很多新版本上因为说明不全导致进展缓慢的问题，比如说最新的OCRv5不能再用det= ， res= 分开确认检测和识别的模型。”

   在PaddleOCR 2.x到3.x的升级中，我们修改了一些2.x中不合理的设计，比如det=、rec=。关于这一点，可以参考我在 TypeError: PaddleOCR.predict() got an unexpected keyword argument 'det' PaddleOCR#15343 的回复。

   这次的大版本升级确实导致部分API的不兼容变更，在使用PaddleOCR时请留意参考的文档是对应版本的（例如使用PaddleOCR 3.0时，请参考PaddleOCR 3.0的文档）。我们在这个文档里也对PaddleOCR 2.x->3.0的升级做了整体说明：https://paddlepaddle.github.io/PaddleOCR/latest/update/upgrade_notes.html#2-paddleocr-2x-3x 。

3. “paddle2onnx上也有很大的问题，很多时候是版本不匹配导致转化不成功。”

   如果没有高级参数配置需求，建议可以参考PaddleOCR文档，使用标准的方式安装插件和执行模型格式转换，以避免遇到库/模型版本不匹配导致的问题。

4. “在PaddleOCR()调用的时候，enable_hpi=True, # 高性能推理 开启会报错误。”

   请首先参考PaddleOCR文档安装高性能推理插件。

5. “还有就是cpu_threads=16, # 设置CPU线程数(根据实际CPU核心数调整) ， 我在配置这个参数的时候没有发现有什么加速效果”

   我们无法复现这个问题。在我们的环境中，对于通用OCR产线，测试cpu_threads=8与cpu_threads=10，可以观察到比较明显的耗时差异。实际的加速效果可能和本地硬件环境有关，建议可以尝试一些比较极端的case，例如cpu_threads=1和cpu_threads=8，比较是否存在可观察到的推理耗时差异。