license: cc-by-nc-4.0 tags:

• 视觉
• nougat pipeline_tag: 图像转文本

Nougat模型基础版

该模型通过PDF转Markdown训练而成，由Blecher等人在论文Nougat: 学术文档的神经光学理解中提出，并首次发布于此代码库。

免责声明：发布Nougat的团队未为此模型编写模型卡片，故本卡片由Hugging Face团队撰写。

注：本模型对应原代码库中的"0.1.0-base"版本。

模型描述

Nougat是基于Donut架构的模型，专为将科学PDF转录为易用Markdown格式而训练。模型采用Swin Transformer作为视觉编码器，mBART模型作为文本解码器。

该模型通过自回归方式，仅输入PDF图像像素即可预测Markdown内容。

Nougat高层架构概览。图片引自原论文。

应用场景与限制

您可直接使用该原始模型将PDF转录为Markdown。访问模型中心可探索其他可能感兴趣的微调版本。

使用方法

请参阅官方文档。

BibTeX引用信息

@misc{blecher2023nougat,  
      title={Nougat: 学术文档的神经光学理解},  
      author={Lukas Blecher and Guillem Cucurull and Thomas Scialom and Robert Stojnic},  
      year={2023},  
      eprint={2308.13418},  
      archivePrefix={arXiv},  
      primaryClass={cs.LG}  
}