license: cc-by-4.0 tags:

• 视觉
• nougat pipeline_tag: 图像转文本

Nougat模型（小型版本）

该Nougat模型专为PDF转Markdown任务训练，由Blecher等人在论文Nougat: 学术文档的神经光学理解中提出，并首发于此代码库。

免责声明：Nougat发布团队未提供本模型卡片，当前内容由Hugging Face团队撰写。

注：本模型对应原代码库中的"0.1.0-small"版本。

模型描述

Nougat是基于Donut架构的模型，用于将科学PDF转录为易用的Markdown格式。模型采用Swin Transformer作为视觉编码器，mBART模型作为文本解码器。

该模型通过自回归方式，仅需PDF图像像素即可预测Markdown文本。

Nougat高层架构概览。图片源自原始论文。

应用场景与限制

本模型可直接用于PDF转Markdown任务。访问模型中心可探索其他可能感兴趣的微调版本。

使用方法

请参阅官方文档。

BibTeX引用信息

@misc{blecher2023nougat,
      title={Nougat: Neural Optical Understanding for Academic Documents}, 
      author={Lukas Blecher and Guillem Cucurull and Thomas Scialom and Robert Stojnic},
      year={2023},
      eprint={2308.13418},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}