🚀 TF-ID：学术论文表格/图片识别器

TF-ID（Table/Figure IDentifier）是一系列目标检测模型，由胡逸飞创建，经过微调后可用于提取学术论文中的表格和图片。该模型具有显著的实用价值，能够帮助科研人员更高效地处理学术文献中的图表信息。

🚀 快速开始

使用以下代码开始使用该模型：

import requests
from PIL import Image
from transformers import AutoProcessor, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("yifeihu/TF-ID-base", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("yifeihu/TF-ID-base", trust_remote_code=True)

prompt = "<OD>"
url = "https://huggingface.co/yifeihu/TF-ID-base/resolve/main/arxiv_2305_10853_5.png?download=true"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=prompt, images=image, return_tensors="pt")
generated_ids = model.generate(
    input_ids=inputs["input_ids"],
    pixel_values=inputs["pixel_values"],
    max_new_tokens=1024,
    do_sample=False,
    num_beams=3
)

generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]
parsed_answer = processor.post_process_generation(generated_text, task="<OD>", image_size=(image.width, image.height))
print(parsed_answer)

若要可视化结果，请参考此教程笔记本获取更多详细信息。

✨ 主要特性

• TF-ID模型有四个版本，可根据需求选择提取包含或不包含标题文本的表格和图片。
• 所有TF-ID模型均基于microsoft/Florence - 2的检查点进行微调。
• 模型以单页学术论文的图像作为输入，返回给定页面中所有表格和图片的边界框。

📦 安装指南

文档未提及安装步骤，暂不提供。

💻 使用示例

基础用法

import requests
from PIL import Image
from transformers import AutoProcessor, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("yifeihu/TF-ID-base", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("yifeihu/TF-ID-base", trust_remote_code=True)

prompt = "<OD>"
url = "https://huggingface.co/yifeihu/TF-ID-base/resolve/main/arxiv_2305_10853_5.png?download=true"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=prompt, images=image, return_tensors="pt")
generated_ids = model.generate(
    input_ids=inputs["input_ids"],
    pixel_values=inputs["pixel_values"],
    max_new_tokens=1024,
    do_sample=False,
    num_beams=3
)

generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]
parsed_answer = processor.post_process_generation(generated_text, task="<OD>", image_size=(image.width, image.height))
print(parsed_answer)

高级用法

文档未提及高级用法代码示例，暂不提供。

📚 详细文档

模型概述

TF-ID（Table/Figure IDentifier）是一系列目标检测模型，有四个版本：

所有TF-ID模型均基于microsoft/Florence - 2的检查点进行微调。

• 模型使用来自Hugging Face Daily Papers的论文进行微调，所有边界框均经过人工手动标注和检查。
• TF-ID模型以单页学术论文的图像作为输入，返回给定页面中所有表格和图片的边界框。
• TF-ID-base和TF-ID-large会在表格/图片及其标题文本周围绘制边界框。
• TF-ID-base-no-caption和TF-ID-large-no-caption会在表格/图片周围绘制边界框，但不包含标题文本。

强烈推荐使用大模型！

目标检测结果格式： {'': {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['label1', 'label2', ...]} }

训练代码和数据集

• 数据集：yifeihu/TF-ID-arxiv-papers
• 代码：github.com/ai8hyf/TF-ID

基准测试

我们在训练数据集之外的论文页面上测试了模型。这些论文是Hugging Face每日论文的一个子集。

正确输出 - 模型为给定页面中的每个表格/图片绘制正确的边界框。

根据不同的使用场景，一些“不正确”的输出可能仍然完全可用。例如，模型为一个包含两个子组件的图片绘制了两个边界框。

🔧 技术细节

文档未提及具体技术实现细节，暂不提供。

📄 许可证

本项目采用MIT许可证，详情请见许可证链接。

📖 BibTex和引用信息

@misc{TF-ID,
  author = {Yifei Hu},
  title = {TF-ID: Table/Figure IDentifier for academic papers},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/ai8hyf/TF-ID}},
}