语言:

• 英文
• 法语
• 罗马尼亚语
• 德语
• 多语言 推理: 关闭 任务标签: 视觉问答 许可证: Apache-2.0

MatCha模型卡片 - 基于PlotQA-v1数据集微调版

此模型为MatCha模型在PlotQA-v1数据集上的微调版本，该微调检查点可能更适用于图表问答任务。

目录

0. 摘要
1. 使用模型
2. 贡献者
3. 引用

摘要

论文摘要指出：

图表、信息图等视觉语言数据在人类世界中无处不在。然而，当前最先进的视觉语言模型在此类数据上表现欠佳。我们提出MATCHA（数学推理与图表解构预训练）来增强视觉语言模型联合建模图表与语言数据的能力。具体而言，我们设计了几项覆盖图表解构和数值推理关键能力的预训练任务。基于最新图像到文本模型Pix2Struct进行MATCHA预训练后，在PlotQA和ChartQA等标准基准测试中，MATCHA模型以近20%的优势超越现有最佳方法。我们还验证了MATCHA预训练在截图、教科书图表及文档插图等领域的迁移效果，观察到整体性能提升，证实了该预训练方法对更广泛视觉语言任务的有效性。

使用模型

从T5x转换至HuggingFace格式

可使用以下脚本进行转换：

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path T5X检查点路径 --pytorch_dump_path 保存路径 --is_vqa

若转换大型模型，需添加参数：

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path T5X检查点路径 --pytorch_dump_path 保存路径 --use-large --is_vqa

转换完成后，可通过以下代码推送至Hub：

from transformers import Pix2StructForConditionalGeneration, Pix2StructProcessor

model = Pix2StructForConditionalGeneration.from_pretrained(保存路径)
processor = Pix2StructProcessor.from_pretrained(保存路径)

model.push_to_hub("用户名/模型名称")
processor.push_to_hub("用户名/模型名称")

运行预测

预测方法请参考matcha-chartqa模型卡片中的说明。

贡献者

该模型由Fangyu Liu、Francesco Piccinno等学者首创，并由Younes Belkada引入Hugging Face生态。

引用

若需引用本研究，请参考原论文：

@misc{liu2022matcha,
      title={MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering}, 
      author={Fangyu Liu and Francesco Piccinno and Syrine Krichene and Chenxi Pang and Kenton Lee and Mandar Joshi and Yasemin Altun and Nigel Collier and Julian Martin Eisenschlos},
      year={2022},
      eprint={2212.09662},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}