TrOCR（小规模模型，基于合成数学表达式数据集微调）

TrOCR模型在合成数学表达式数据集上进行了微调。该模型由Li等人在论文TrOCR: 基于预训练模型的Transformer光学字符识别中提出，并首次发布于此代码库。

免责声明：发布TrOCR的团队未为此模型编写模型卡片，故本模型卡片由Hugging Face团队撰写。

模型描述

TrOCR模型采用编码器-解码器架构，其中图像编码器基于Transformer实现，文本解码器同样基于Transformer构建。图像编码器权重初始化自BEiT，而文本解码器权重初始化自RoBERTa。

图像以固定尺寸（16x16分辨率）的块序列形式输入模型，经线性嵌入处理后加入绝对位置编码，再馈入Transformer编码器层。随后，Transformer文本解码器以自回归方式生成文本标记。

应用场景与限制

本模型可直接用于单行文本图像的光学字符识别（OCR）。如需特定任务的应用，可查阅模型库寻找相关微调版本。

使用方法

以下为PyTorch调用示例：

from transformers import VisionEncoderDecoderModel, AutoFeatureExtractor, AutoTokenizer
from PIL import Image
import requests

# 从IAM数据库加载图像
url = 'https://drive.google.com/uc?export=view&id=15dUjO44YDe1Agw_Qi8MyODRHpUFaCFw-'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

feature_extractor = AutoFeatureExtractor.from_pretrained('vukpetar/trocr-small-photomath')
tokenizer = AutoTokenizer.from_pretrained("vukpetar/trocr-small-photomath")
model = VisionEncoderDecoderModel.from_pretrained('vukpetar/trocr-small-photomath')
pixel_values = feature_extractor(images=image, return_tensors="pt").pixel_values

generated_ids = model.generate(pixel_values)
generated_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

BibTeX引用信息

@misc{li2021trocr,
  title={TrOCR: 基于预训练模型的Transformer光学字符识别}, 
  author={李明浩 and 吕腾超 and 崔磊 and 卢艺娟 and Dinei Florencio and 张策 and 李周隽 and 韦福如},
  year={2021},
  eprint={2109.10282},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}