许可协议: cc-by-nc-4.0 标签:

• 视觉
• 牛轧糖 任务标签: 图像转文本

Nougat基础版模型

该模型针对PDF转Markdown任务训练而成，由Blecher等人在论文Nougat: 学术文档的神经光学理解中提出，并首发于此代码库。

免责声明：Nougat发布团队未提供模型卡片，本卡片由Hugging Face团队撰写。

注：本模型对应原始代码库中的"0.1.0-base"版本。

模型描述

Nougat是基于Donut架构的模型，专为将科学类PDF转录为易用Markdown格式而设计。模型采用Swin Transformer作为视觉编码器，mBART模型作为文本解码器。

该模型通过自回归方式，仅依据PDF图像像素即可预测对应的Markdown内容。

Nougat高层架构概览。图片源自原始论文。

应用场景与限制

本模型可直接用于PDF转Markdown任务。您可以在模型中心探索其他可能感兴趣的微调版本。

使用方法

请参考官方文档。

BibTeX引用信息

@misc{blecher2023nougat,
      title={Nougat: Neural Optical Understanding for Academic Documents}, 
      author={Lukas Blecher and Guillem Cucurull and Thomas Scialom and Robert Stojnic},
      year={2023},
      eprint={2308.13418},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}