🚀 VisualHeist - 从PDF中进行图表、示意图和表格分割（含标题、页眉和页脚）

VisualHeist是一个目标检测模型，经过微调可从PDF中提取表格和图表。它能为您解决从PDF文件中准确提取表格和图表的难题，让您无需手动处理，提高工作效率。

🚀 快速开始

若您想了解如何运行该模型，请参考github仓库中的详细说明。

✨ 主要特性

• 多版本选择：VisualHeist有两个版本，分别是visualheist-base（0.23B）和visualheist-large（0.77B）。如果您在低内存系统上运行，建议使用基础版本。
• 微调基础：模型基于microsoft/Florence - 2的检查点进行微调，并且受到yifeihu/TF - ID的启发和改编。
• 数据来源：使用来自110篇不同出版商的PDF文章中的3435张图表和1716个表格进行微调，所有边界框均使用CoCo Annotator手动标注。
• 输入输出：TF - ID模型以单页论文的图像作为输入，并返回给定页面中所有图表、示意图和表格的图像文件。

📦 安装指南

文档未提供具体安装步骤，故跳过此章节。

💻 使用示例

文档未提供代码示例，故跳过此章节。

📚 详细文档

训练代码和数据集

• 数据集：Zenodo仓库
• 代码：github.com/aspuru - guzik - group/MERMaid

基准测试

• 评估数据集：手动整理了一个多样化的评估数据集，包含121篇涵盖多个主题的文献文章，如有机和无机化学、大气科学、电池、材料科学、金属有机框架（MOFs）、生物学和科学教育等。这些PDF文章发表于1949年至2025年之间，包括主文章和补充材料。此外，还整理了另一组98篇报道新反应方法的文献文章（MERMaid - 100），涵盖三个不同的化学领域：有机电合成、光催化和有机合成。
• 评估结果：visualheist - large的评估结果如下： | 类别 | 总图像数 | F1分数 | |------|----------|--------| | 全部 | 1935 | 93% | | 主文章 | 423 | 96% | | 2000年之前 | 260 | 93% | | 补充材料 | 1252 | 92% | | MERMaid - 100 | 100 | 99% |

更多性能讨论可参考预印文章，完整的DOI列表可从Zenodo仓库下载。

🔧 技术细节

文档未提供具体技术实现细节，故跳过此章节。

📄 许可证

本项目采用MIT许可证。

📖 BibTex和引用信息

<To be updated with our archive citation>