PaddleX/latest/pipeline_usage/tutorials/ocr_pipelines/table_recognition #3510
giscus[bot]
bot
Replies: 9 comments 15 replies
-
|
怎么回事，更新完了 请问我该怎么解决？ |
Beta Was this translation helpful? Give feedback.
-
|
请问你的命令是？请确保代码是最新的～ |
Beta Was this translation helpful? Give feedback.
-
|
不同的OCR产线的区别是否是配置文件呢？ |
Beta Was this translation helpful? Give feedback.
-
|
OCR只有一个产线，这个产线可以替换不同的模型或者关闭不同的开关 |
Beta Was this translation helpful? Give feedback.
-
|
请问， OCR识别时， 想指定的模型， 该用哪个参数？？ |
Beta Was this translation helpful? Give feedback.
-
|
可以直接更改配置文件，文档中有相关描述，未来我们以更显示的方式来展示出来。举例：更换OCR的识别模型，从 TextRecognition:
module_name: text_recognition
model_name: PP-OCRv4_server_rec
model_dir: null
batch_size: 1
score_thresh: 0替换为： TextRecognition:
module_name: text_recognition
model_name: PP-OCRv4_mobile_rec
model_dir: null
batch_size: 1
score_thresh: 0如果想替换为本地的模型路径，可以使用其中的 |
Beta Was this translation helpful? Give feedback.
-
|
谢谢， 请问， 我在OCR产线中，想同时使用两个模型，比如像在线体验那样，可选择server或mobile， 那么该如何配置， 让调用者传参达切换？ |
Beta Was this translation helpful? Give feedback.
-
|
同理替换配置文件中的模型即可，配置中的所有模型都是可以更换的 |
Beta Was this translation helpful? Give feedback.
-
|
请问处理pdf文件，假如文件中既有文字的部分，也有图片的部分，内部是如何处理的？全部转换成图片再ocr吗，还是有所区分呢？ |
Beta Was this translation helpful? Give feedback.
-
|
都是转换成图像整体过OCR模型 |
Beta Was this translation helpful? Give feedback.
-
|
模型微调方法还会公开吗？今天用通用ocr产线+qwen已经比表格识别v2产线效果好了 感觉传统kie的模型已经没必要炼了.... 如果不是为了corner case做调整基本prompt写好就行了 |
Beta Was this translation helpful? Give feedback.
-
|
您好，通用表格识别v2产线并不是说要给一个绝对的最佳权重，而是给出一种解决方案，鼓励大家微调解决自己的case。基于大模型的方案优点有很多，也鼓励大家使用小模型+大模型+prompt的解决方案，但是对于很多表格尤其是合并单元格的表格，依旧无法很好解决，哪怕是当前最好的GPT4o或者Claude3.7，这也是目前多模态大模型在表格识别方面遇到的囧境。另外KIE和表格识别本身不是一个任务，如果是做KIE的话，本身也未必一定要用到表格识别能力，表格识别本身还有其他的用途。 |
Beta Was this translation helpful? Give feedback.
-
|
要是只想做文字识别功能如何做？在ocr文件将文本检测关闭吗？ |
Beta Was this translation helpful? Give feedback.
-
|
只想做文字的识别的话，取决于你的文字是整篇文字还是文本行，如果是文本行，可以只用OCR文本识别的模型来识别，如果是整篇文字，则需要配合文本检测来一起使用。如果确实不希望知道这么多概念，直接使用OCR产线即可。 |
Beta Was this translation helpful? Give feedback.
-
|
请问如何快速处理很大的数据量呢，比如4GPU，或者拉大batchsize？ |
Beta Was this translation helpful? Give feedback.
-
|
问一哈，怎么生成双层pdf呢，我们的代码中是不是已经集成了 |
Beta Was this translation helpful? Give feedback.
-
|
@EgretLi 可以考虑使用一些并行加速的方法，例如以下代码： import os
import multiprocessing
def process_image(file_path, input_dir, output_dir, pipeline):
# 预测
output = pipeline.predict(file_path)
# 生成输出目录路径
relative_path = os.path.relpath(file_path, input_dir)
json_output_path = os.path.join(output_dir, os.path.splitext(relative_path)[0] + '.json')
# 创建输出文件夹
os.makedirs(os.path.dirname(json_output_path), exist_ok=True)
# 保存结果
try:
for res in output:
# res.print() # 打印预测的结构化输出
res.save_to_json(json_output_path)
res.save_to_img("output")
print(f"Process {file_path} Successful!")
except Exception as e:
print(f"Process {file_path} Failed with error: {e}")
def worker(gpu_id, image_files, input_dir, output_dir):
# 初始化每个进程的pipeline
from paddlex import create_pipeline
pipeline = create_pipeline(pipeline="OCR", device=f"gpu:{gpu_id}")
for file_path in image_files:
process_image(file_path, input_dir, output_dir, pipeline)
def process_images(input_dir, output_dir):
# 收集所有图片文件路径
image_files = []
for root, _, files in os.walk(input_dir):
for file in files:
if file.endswith(('.png', '.jpg', '.jpeg')):
image_files.append(os.path.join(root, file))
# 确定GPU数量和每个GPU上的进程数量
num_gpus = 4
processes_per_gpu = 10
# 将图片文件分配到每个GPU和进程
chunk_size = len(image_files) // (num_gpus * processes_per_gpu)
chunks = [image_files[i:i + chunk_size] for i in range(0, len(image_files), chunk_size)]
# 创建多进程
processes = []
for gpu_id in range(num_gpus):
for _ in range(processes_per_gpu):
if chunks:
chunk = chunks.pop(0)
p = multiprocessing.Process(target=worker, args=(gpu_id, chunk, input_dir, output_dir))
processes.append(p)
p.start()
# 等待所有进程完成
for p in processes:
p.join()
# 输入图片目录和输出JSON目录
input_directory = "./images"
output_directory = "./output"
if __name__ == '__main__':
process_images(input_directory, output_directory)上述代码会使用多个GPU并行预测，且每个GPU会同时跑10个预测进程，可以根据自己的硬件条件更换相关的参数。 |
Beta Was this translation helpful? Give feedback.
-
|
问一哈，怎么生成双层pdf呢，我们的代码中是不是已经集成了 |
Beta Was this translation helpful? Give feedback.
-
|
模型参考链接404了，一些图书的OCR效果不是很好，想微调试一下。微调方法是不公开了吗？ |
Beta Was this translation helpful? Give feedback.
-
|
请问是哪块的链接失效了呢？微调方法否是公开的哈 |
Beta Was this translation helpful? Give feedback.
-
|
遇到一个问题 windows 用户 名称是中文的时候找不到对应的模型文件，有什么环境变量或者什么东西可以修改模型地址吗 paddlex --pipeline OCR --input C:/Users/张宏/Pictures/tp.png --use_doc_orientation_classify False --use_doc_unwarping False --use_textline_orientation False --save_path ./output --device gpu:0 |
Beta Was this translation helpful? Give feedback.
-
|
参考的官方代码 想手动指定也不行 from paddlex import create_model 这里指定模型的地址但是没有生效predictor = create_predictor(model_name=r"PP-LCNet_x1_0_doc_ori",model_dir=r'E:\pandleModles\PP-LCNet_x1_0_doc_ori',device='cpu',use_hpip=False) pipeline =create_pipeline(pipeline="table_recognition") output = pipeline.predict( for res in output: 直接调用命令也遇到了 无法读取模型的问题paddlex --pipeline OCR --input C:/Users/张宏/Pictures/tp.png --use_doc_orientation_classify False --use_doc_unwarping False --use_textline_orientation False --save_path ./output --device gpu:0 |
Beta Was this translation helpful? Give feedback.
-
|
您提供的代码为什么是 |
Beta Was this translation helpful? Give feedback.
-
|
对于表格结构识别的结果，只有可视化的结果吗，如果我想要得到识别出来的每个单元格（包括空白的单元格）的坐标信息，应该如何处理 |
Beta Was this translation helpful? Give feedback.
Uh oh!
There was an error while loading. Please reload this page.
-
PaddleX/latest/pipeline_usage/tutorials/ocr_pipelines/table_recognition
https://paddlepaddle.github.io/PaddleX/latest/pipeline_usage/tutorials/ocr_pipelines/table_recognition.html
Beta Was this translation helpful? Give feedback.
All reactions