license: mit tags:

• 视觉 inference: false pipeline_tag: 图像文本转文本

UDOP模型

UDOP模型由Zineng Tang、Ziyi Yang、Guoxin Wang、Yuwei Fang、Yang Liu、Chenguang Zhu、Michael Zeng、Cha Zhang和Mohit Bansal在论文《统一视觉、文本与布局的通用文档处理》中提出。

模型描述

UDOP采用基于T5的编码器-解码器Transformer架构，适用于文档图像分类、文档解析和文档视觉问答等文档AI任务。

预期用途与限制

该模型可用于文档图像分类、文档解析和文档视觉问答（DocVQA）。

使用方法

以下是如何在文档图像上使用该模型的示例：

from transformers import AutoProcessor, UdopForConditionalGeneration
from datasets import load_dataset

# 加载模型和处理器
# 本例中，我们已自行完成OCR
# 因此初始化处理器时设置`apply_ocr=False`
processor = AutoProcessor.from_pretrained("microsoft/udop-large", apply_ocr=False)
model = UdopForConditionalGeneration.from_pretrained("microsoft/udop-large")

# 加载示例图像及通过OCR引擎提取的文字和坐标
dataset = load_dataset("nielsr/funsd-layoutlmv3", split="train")
example = dataset[0]
image = example["image"]
words = example["tokens"]
boxes = example["bboxes"]
question = "问答任务：表格上的日期是什么？"

# 为模型准备输入数据
encoding = processor(image, question, words, boxes=boxes, return_tensors="pt")

# 自回归生成
predicted_ids = model.generate(**encoding)
print(processor.batch_decode(predicted_ids, skip_special_tokens=True)[0])
9/30/92

微调/推理请参考演示笔记本。

BibTeX条目与引用信息

@misc{tang2023unifying,
      title={Unifying Vision, Text, and Layout for Universal Document Processing}, 
      author={Zineng Tang and Ziyi Yang and Guoxin Wang and Yuwei Fang and Yang Liu and Chenguang Zhu and Michael Zeng and Cha Zhang and Mohit Bansal},
      year={2023},
      eprint={2212.02623},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}