许可证: MIT
许可证链接: https://huggingface.co/microsoft/Florence-2-base-ft/resolve/main/LICENSE
任务标签: 图像文本到文本
标签:

• 视觉
• OCR
• 分割
  数据集:
• yifeihu/TF-ID-arxiv-papers

TF-ID：学术论文中的表格/图表识别器

模型概述

TF-ID（表格/图表识别器）是由Yifei Hu开发的一系列目标检测模型，专门用于提取学术论文中的表格和图表。共有四个版本：

所有TF-ID模型均基于microsoft/Florence-2检查点微调而成。

• 训练数据来自Hugging Face Daily Papers，所有边界框均由人工标注并校验。
• 模型输入为单页论文图像，输出为页面中所有表格/图表的边界框。
• TF-ID-base和TF-ID-large会标注表格/图表及其标题文本的边界框。
• TF-ID-base-no-caption和TF-ID-large-no-caption仅标注表格/图表本身的边界框。

强烈推荐使用大模型！

目标检测输出格式：
{'<OD>': {'bboxes': [[x1, y1, x2, y2], ...],
'labels': ['label1', 'label2', ...]} }

训练代码与数据集

• 数据集：yifeihu/TF-ID-arxiv-papers
• 代码：github.com/ai8hyf/TF-ID

性能基准

我们在训练集外的论文页面上测试了模型性能（测试集为Hugging Face每日论文的子集）。"正确输出"定义为模型为页面中每个表格/图表生成正确边界框。

注：部分"错误"输出在实际场景中仍可使用（例如模型为包含子组件的图表生成多个边界框）。

快速开始

使用以下代码加载模型：

import requests  
from PIL import Image  
from transformers import AutoProcessor, AutoModelForCausalLM   

model = AutoModelForCausalLM.from_pretrained("yifeihu/TF-ID-base", trust_remote_code=True)  
processor = AutoProcessor.from_pretrained("yifeihu/TF-ID-base", trust_remote_code=True)  

prompt = "<OD>"  

url = "https://huggingface.co/yifeihu/TF-ID-base/resolve/main/arxiv_2305_10853_5.png?download=true"  
image = Image.open(requests.get(url, stream=True).raw)  

inputs = processor(text=prompt, images=image, return_tensors="pt")  

generated_ids = model.generate(  
    input_ids=inputs["input_ids"],  
    pixel_values=inputs["pixel_values"],  
    max_new_tokens=1024,  
    do_sample=False,  
    num_beams=3  
)  
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]  

parsed_answer = processor.post_process_generation(generated_text, task="<OD>", image_size=(image.width, image.height))  

print(parsed_answer)  

可视化教程详见Colab笔记本。

引用信息

@misc{TF-ID,  
  author = {Yifei Hu},  
  title = {TF-ID: Table/Figure IDentifier for academic papers},  
  year = {2024},  
  publisher = {GitHub},  
  journal = {GitHub repository},  
  howpublished = {\url{https://github.com/ai8hyf/TF-ID}},  
}