标签:

• trocr
• 图像转文本 小部件:
• 示例: https://layoutlm.blob.core.windows.net/trocr/dataset/SROIE2019Task2Crop/train/X00016469612_1.jpg 示例标题: 印刷体1
• 示例: https://layoutlm.blob.core.windows.net/trocr/dataset/SROIE2019Task2Crop/train/X51005255805_7.jpg 示例标题: 印刷体2
• 示例: https://layoutlm.blob.core.windows.net/trocr/dataset/SROIE2019Task2Crop/train/X51005745214_6.jpg 示例标题: 印刷体3

TrOCR (大尺寸模型，基于SROIE微调)

基于SROIE数据集微调的TrOCR模型。该模型由Li等人在论文TrOCR: 基于预训练模型的Transformer光学字符识别中提出，并首次发布于此代码库。

免责声明：发布TrOCR的团队未为此模型编写模型卡片，故本卡片由Hugging Face团队撰写。

模型描述

TrOCR模型采用编码器-解码器架构，包含作为编码器的图像Transformer和作为解码器的文本Transformer。图像编码器权重初始化自BEiT，而文本解码器权重初始化自RoBERTa。

图像以固定尺寸块序列（分辨率16x16）的形式输入模型，经线性嵌入后添加绝对位置编码，再送入Transformer编码器层。随后，Transformer文本解码器以自回归方式生成标记。

预期用途与限制

该原始模型可用于单行文本图像的光学字符识别(OCR)。访问模型中心可查找针对特定任务微调的版本。

使用方法

以下为PyTorch调用示例：

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

# 从IAM数据库加载图像（实际该模型适用于印刷文本）
url = 'https://fki.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

processor = TrOCRProcessor.from_pretrained('microsoft/trocr-large-printed')
model = VisionEncoderDecoderModel.from_pretrained('microsoft/trocr-large-printed')
pixel_values = processor(images=image, return_tensors="pt").pixel_values

generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

BibTeX引用信息

@misc{li2021trocr,
      title={TrOCR: 基于预训练模型的Transformer光学字符识别}, 
      author={李明浩 and 吕腾超 and 崔磊 and 卢艺娟 and Dinei Florencio and 张策 and 李周军 and 韦福如},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}