许可协议: cc-by-nc-sa-4.0
标签:

• donut
• 图像转文本
• 视觉
• 发票

基于发票数据微调的Donut模型

本模型基于Donut基础模型（由Geewok等人在论文《OCR-free Document Understanding Transformer》中提出，并首次发布于此代码库）。

该模型使用数千张标注过的发票和非发票数据（非发票文件类型标记为"Other"）进行训练，涵盖不同国家和语言，且均为单页文档。遗憾的是，数据集为专有数据。模型输入分辨率设置为1280x1920像素，因此尝试高于150 DPI的样本不会带来额外价值。
在NVIDIA RTX A4000显卡上训练约4小时，共20,000步，最终验证指标为0.03413819904382196。
训练集包含以下字段索引：

• 文档类型
• 货币
• 文件日期
• 总金额
• 发票编号
• 净金额
• 税额
• 订单号
• 债权人国家

模型描述

Donut由视觉编码器（Swin Transformer）和文本解码器（BART）组成。给定图像时，编码器首先将图像编码为嵌入张量（形状为batch_size, seq_len, hidden_size），随后解码器基于编码器的输出自回归生成文本。

使用方法

请参阅包含代码示例的官方文档。