许可证: mit 语言:

• 中文
• 英文 标签:
• 文档解析
• 文档理解
• 文档智能
• 光学字符识别
• 版面分析
• 表格提取
• 多模态
• 视觉语言模型 数据集:
• 自定义 管道标签: 图像文本到文本 库名称: transformers

海豚：基于异构锚点提示的文档图像解析

模型描述

海豚（Document Image Parsing via Heterogeneous Anchor Prompting）是一种创新的多模态文档图像解析模型，采用"先分析后解析"的范式。该模型通过两阶段方法应对复杂文档理解中的挑战，能够处理文本段落、图表、公式和表格等相互交织的元素。

概述

由于文本段落、图表、公式和表格等元素复杂交织，文档图像解析具有挑战性。海豚通过两阶段方法应对这些挑战：

1. 第一阶段：通过生成自然阅读顺序的元素序列进行全面的页面级布局分析
2. 第二阶段：使用异构锚点和任务特定提示高效并行解析文档元素

海豚在多样化的页面级和元素级解析任务中表现出色，同时通过轻量级架构和并行解析机制确保卓越效率。

模型架构

海豚基于视觉编码器-解码器架构，使用transformer构建：

• 视觉编码器：基于Swin Transformer，用于从文档图像中提取视觉特征
• 文本解码器：基于MBart，用于从视觉特征解码文本
• 基于提示的接口：使用自然语言提示控制解析任务

该模型作为Hugging Face的VisionEncoderDecoderModel实现，便于与Transformers生态系统集成。

使用方式

我们的演示即将发布，敬请期待！

详细使用方法请参考我们的GitHub仓库。

• 页面级解析：针对整个文档图像
• 元素级解析：针对单个元素（段落、表格、公式）图像

许可证

本模型采用MIT许可证发布。

引用

@inproceedings{dolphin2025,
  title={海豚：基于异构锚点提示的文档图像解析},
  author={冯浩、魏舒、费翔、石伟、韩英东、廖磊、卢静晖、吴炳宏、刘琦、林春晖、唐景群、刘浩、黄灿},
  year={2025},
  booktitle={第65届计算语言学协会年会论文集(ACL)}
}

致谢

本模型基于多个开源项目构建，包括：

• Hugging Face Transformers
• Donut
• Nougat
• Swin Transformer