标签:

• trocr
• 图像转文本 微件:
• 示例图片: https://layoutlm.blob.core.windows.net/trocr/dataset/SROIE2019Task2Crop/train/X00016469612_1.jpg 示例标题: 印刷体1
• 示例图片: https://layoutlm.blob.core.windows.net/trocr/dataset/SROIE2019Task2Crop/train/X51005255805_7.jpg 示例标题: 印刷体2
• 示例图片: https://layoutlm.blob.core.windows.net/trocr/dataset/SROIE2019Task2Crop/train/X51005745214_6.jpg 示例标题: 印刷体3

TrOCR (基础尺寸模型，基于SROIE微调)

该TrOCR模型基于SROIE数据集微调而成。该模型由Li等人在论文TrOCR: 基于预训练模型的Transformer光学字符识别中首次提出，并发布于此代码库。

免责声明：发布TrOCR的团队未为此模型编写说明卡片，本说明卡片由Hugging Face团队撰写。

模型描述

TrOCR模型采用编码器-解码器架构，包含作为编码器的图像Transformer和作为解码器的文本Transformer。图像编码器权重初始化自BEiT，文本解码器权重初始化自RoBERTa。

图像以固定尺寸块序列(16x16分辨率)形式输入模型，经线性嵌入处理后，在输入Transformer编码器层前会添加绝对位置嵌入。随后，Transformer文本解码器以自回归方式生成标记。

应用场景与限制

该原始模型可用于单行文本图像的光学字符识别(OCR)。请查阅模型中心寻找您感兴趣任务的微调版本。

使用方法

以下是PyTorch环境下的调用示例：

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

# 从IAM数据库加载图像（实际本模型适用于印刷文本识别）
url = 'https://fki.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

processor = TrOCRProcessor.from_pretrained('microsoft/trocr-base-printed')
model = VisionEncoderDecoderModel.from_pretrained('microsoft/trocr-base-printed')
pixel_values = processor(images=image, return_tensors="pt").pixel_values

generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

文献引用信息

@misc{li2021trocr,
      title={TrOCR: 基于预训练模型的Transformer光学字符识别}, 
      author={李明浩 and 吕腾超 and 崔磊 and 卢艺娟 and Dinei Florencio and 张策 and 李周军 and 韦福如},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}