许可证: mit 流水线标签: 文档问答 标签:

• donut
• 图像转文本
• 视觉 小部件示例:
• 文本: "发票号码是多少?" 图片源: "https://huggingface.co/spaces/impira/docquery/resolve/2359223c1837a7587402bda0f2643382a6eefeab/invoice.png"
• 文本: "采购金额是多少?" 图片源: "https://huggingface.co/spaces/impira/docquery/resolve/2359223c1837a7587402bda0f2643382a6eefeab/contract.jpeg"

Donut (基础尺寸模型，基于DocVQA微调)

基于DocVQA微调的Donut模型。该模型由Geewok等人在论文无需OCR的文档理解Transformer中提出，并首次发布于此代码库。

免责声明: 发布Donut的团队未为此模型编写说明卡，故本说明卡由Hugging Face团队撰写。

模型描述

Donut由视觉编码器(Swin Transformer)和文本解码器(BART)组成。给定图像后，编码器先将图像编码为嵌入张量(形状为batch_size, seq_len, hidden_size)，随后解码器基于编码器的输出自回归生成文本。

预期用途与限制

本模型基于文档视觉问答数据集DocVQA微调。

具体使用示例请参阅文档。

BibTeX条目及引用信息

@article{DBLP:journals/corr/abs-2111-15664,
  作者    = {Geewook Kim and
              Teakgyu Hong and
              Moonbin Yim and
              Jinyoung Park and
              Jinyeong Yim and
              Wonseok Hwang and
              Sangdoo Yun and
              Dongyoon Han and
              Seunghyun Park},
  标题     = {Donut: 无需OCR的文档理解Transformer},
  期刊     = {CoRR},
  卷号     = {abs/2111.15664},
  年份     = {2021},
  网址     = {https://arxiv.org/abs/2111.15664},
  电子打印类型 = {arXiv},
  电子打印号 = {2111.15664},
  时间戳   = {2021年12月2日 10:50:44 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2111-15664.bib},
  bibsource = {dblp计算机科学文献库, https://dblp.org}
}