许可证: mit 标签:

• donut
• 图像转文本
• 视觉

Donut (基础尺寸模型，基于CORD微调)

基于CORD数据集微调的Donut模型。该模型由Geewok等人在论文OCR-free Document Understanding Transformer中提出，并首次发布于此代码库。

免责声明：发布Donut的团队未为此模型编写模型卡片，故本卡片由Hugging Face团队撰写。

模型描述

Donut由视觉编码器（Swin Transformer）和文本解码器（BART）组成。给定图像时，编码器首先将图像编码为嵌入张量（形状为batch_size, seq_len, hidden_size），随后解码器基于编码器的输出自回归生成文本。

预期用途与限制

本模型基于文档解析数据集CORD进行微调。

我们推荐参阅包含代码示例的官方文档。

CORD数据集

CORD：用于OCR后解析的整合收据数据集。