数据集:

• ds4sd/DocLayNet 库名称: transformers 许可证: apache-2.0 管道标签: 目标检测

DETR文档布局检测模型

我们推出cmarkea/detr-layout-detection模型，该模型能够从文档图像中提取不同布局元素（文本、图片、标题、脚注等）。该模型基于detr-resnet-50模型在DocLayNet数据集上进行微调，可同时预测文档对象的掩码和边界框，是处理待导入开放域问答系统(ODQA)文档语料的理想选择。

本模型可识别11类实体：标题、脚注、公式、列表项、页脚、页眉、图片、章节标题、表格、正文和主标题。

性能表现

我们分别评估模型在语义分割和目标检测任务上的表现。所有评估均未使用后处理技术，测试数据来自DocLayNet的500页PDF评估数据集。

基准对比

与其他模型的性能对比：

使用示例

from transformers import AutoImageProcessor
from transformers.models.detr import DetrForSegmentation

img_proc = AutoImageProcessor.from_pretrained(
    "cmarkea/detr-layout-detection"
)
model = DetrForSegmentation.from_pretrained(
    "cmarkea/detr-layout-detection"
)

img: PIL.Image

with torch.inference_mode():
    input_ids = img_proc(img, return_tensors='pt')
    output = model(**input_ids)

threshold=0.4

segmentation_mask = img_proc.post_process_segmentation(
    output,
    threshold=threshold,
    target_sizes=[img.size[::-1]]
)

bbox_pred = img_proc.post_process_object_detection(
    output,
    threshold=threshold,
    target_sizes=[img.size[::-1]]
)

效果示例

引用格式

@online{DeDetrLay,
  AUTHOR = {Cyrile Delestre},
  URL = {https://huggingface.co/cmarkea/detr-layout-detection},
  YEAR = {2024},
  KEYWORDS = {图像处理；Transformer模型；文档布局},
}