标签:

• trocr
• 图像转文本 小部件:
• 图片: https://fki.tic.heia-fr.ch/static/img/a01-122-02.jpg 示例标题: 笔记1
• 图片: https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcSoolxi9yWGAT5SLZShv8vVd0bz47UWRzQC19fDTeE8GmGv_Rn-PCF1pP1rrUx8kOjA4gg&usqp=CAU 示例标题: 笔记2
• 图片: https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcRNYtTuSBpZPV_nkBYPMFwVVD9asZOPgHww4epu9EqWgDmXW--sE2o8og40ZfDGo87j5w&usqp=CAU 示例标题: 笔记3

TrOCR（小型模型，基于IAM数据集微调）

TrOCR模型在IAM数据集上进行了微调。该模型由Li等人在论文TrOCR：基于预训练模型的Transformer光学字符识别中首次提出，并发布于此代码库。

模型描述

TrOCR模型是一个编码器-解码器模型，由作为编码器的图像Transformer和作为解码器的文本Transformer组成。图像编码器的权重初始化为DeiT，而文本解码器的权重初始化为UniLM。

图像以固定大小（16x16分辨率）的补丁序列形式输入模型，这些补丁经过线性嵌入。在将序列输入Transformer编码器的各层之前，还会添加绝对位置嵌入。随后，Transformer文本解码器自回归地生成标记。

预期用途与限制

您可以将该原始模型用于单行文本图像的光学字符识别（OCR）。请查看模型中心以寻找您感兴趣任务的微调版本。

使用方法

以下是如何在PyTorch中使用该模型：

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

# 从IAM数据库加载图像
url = 'https://fki.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

processor = TrOCRProcessor.from_pretrained('microsoft/trocr-small-handwritten')
model = VisionEncoderDecoderModel.from_pretrained('microsoft/trocr-small-handwritten')
pixel_values = processor(images=image, return_tensors="pt").pixel_values

generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

BibTeX条目及引用信息

@misc{li2021trocr,
      title={TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}, 
      author={Minghao Li and Tengchao Lv and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}