标签:

• 文档图像转换器 数据集:
• rvl_cdip 推理: false

文档图像转换器（大尺寸模型）

文档图像转换器（DiT）模型基于IIT-CDIP（Lewis等人，2006年）预训练，该数据集包含4200万张文档图像，并在RVL-CDIP上进行了微调，该数据集包含16个类别的40万张灰度图像，每个类别有2.5万张图像。该模型由Li等人在论文DiT: Self-supervised Pre-training for Document Image Transformer中提出，并首次发布于此代码库。需要注意的是，DiT与BEiT的架构完全相同。

免责声明：发布DiT的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队编写。

模型描述

文档图像转换器（DiT）是一种基于自监督方式在大规模图像集合上预训练的Transformer编码器模型（类似于BERT）。模型的预训练目标是根据掩码图像块预测离散变分自编码器（dVAE）编码器的视觉标记。

图像以固定大小的图像块（分辨率为16x16）序列形式输入模型，这些图像块经过线性嵌入。在将序列输入Transformer编码器层之前，还会添加绝对位置嵌入。

通过预训练，模型学习到图像的内在表示，可用于提取对下游任务有用的特征：例如，如果您有一个带标签的文档图像数据集，可以在预训练编码器之上添加一个线性层来训练标准分类器。

预期用途与限制

您可以将原始模型用于将文档图像编码到向量空间，但主要用于在文档图像分类、表格检测或文档布局分析等任务上进行微调。请查看模型中心以寻找您感兴趣任务的微调版本。

使用方法

以下是如何在PyTorch中使用此模型：

from transformers import AutoImageProcessor, AutoModelForImageClassification
import torch
from PIL import Image

image = Image.open('您的文档图像路径').convert('RGB')

processor = AutoImageProcessor.from_pretrained("microsoft/dit-large-finetuned-rvlcdip")
model = AutoModelForImageClassification.from_pretrained("microsoft/dit-large-finetuned-rvlcdip")

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits

# 模型预测16个RVL-CDIP类别之一
predicted_class_idx = logits.argmax(-1).item()
print("预测类别:", model.config.id2label[predicted_class_idx])

BibTeX条目及引用信息

@article{Lewis2006BuildingAT,
  title={Building a test collection for complex document information processing},
  author={David D. Lewis and Gady Agam and Shlomo Engelson Argamon and Ophir Frieder and David A. Grossman and Jefferson Heard},
  journal={Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval},
  year={2006}
}