license: apache-2.0 tags:

• 图像分类
• 基于训练生成 metrics:
• f1分数 base_model: google/vit-base-patch16-224-in21k model-index:
• name: vit_receipts_classifier results: []

vit_receipts_classifier

该模型是基于google/vit-base-patch16-224-in21k在CORD、RVL-CDIP、Visual-Genome及外部收据数据集上微调的版本，用于执行二元分类（票据 vs 非票据）。

此处"票据"作为"收据"的同义词使用。

在评估集上（包含来自上述数据集的扫描件、摄影或手机拍摄格式的彩色/灰度图像），其表现如下：

• 损失值：0.0116
• F1分数：0.9991

模型描述

本模型是ViT的二元分类微调版本，用于预测输入图像是否为收据的图片/扫描件。

使用场景与限制

该模型可用于将图像分类为票据或非票据。对于票据类别，可结合多模态信息提取技术（如视觉命名实体识别）来提取票据条目、金额、总额等信息。更多细节可参考CORD数据集。

训练与评估数据

正类样本（票据） 使用以下数据集：

• CORD
• https://expressexpense.com/blog/free-receipt-images-ocr-machine-learning-dataset/

负类样本（非票据） 使用以下数据集：

• RVL-CDIP子集
• Visual-Genome子集

训练流程

通过调整正负类样本的数据分布进行多轮训练，并进行归一化和尺寸调整以适应ViT的输入要求。通过改变数据分布和超参数来最大化F1分数。

训练超参数

训练过程中使用的超参数：

• 学习率：0.0002
• 训练批次大小：16
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam（beta1=0.9，beta2=0.999，epsilon=1e-08）
• 学习率调度器类型：线性
• 训练轮次：1
• 混合精度训练：原生AMP

训练结果

框架版本

• Transformers 4.21.2
• Pytorch 1.11.0+cu102
• Datasets 2.4.0
• Tokenizers 0.12.1