标签:

• trocr
• 图像转文本 小部件:
• 图片: https://raw.githubusercontent.com/ku21fan/STR-Fewer-Labels/main/demo_image/1.png 示例标题: 示例1
• 图片: https://raw.githubusercontent.com/HCIILAB/Scene-Text-Recognition-Recommendations/main/Dataset_images/LSVT1.jpg 示例标题: 示例2
• 图片: https://raw.githubusercontent.com/HCIILAB/Scene-Text-Recognition-Recommendations/main/Dataset_images/ArT2.jpg 示例标题: 示例3

TrOCR (基础尺寸模型，基于STR基准微调)

TrOCR模型在IC13、IC15、IIIT5K、SVT等数据集的训练集上进行了微调。该模型由Li等人在论文TrOCR: 基于预训练模型的Transformer光学字符识别中提出，并首次发布于此代码库。

模型描述

TrOCR模型采用编码器-解码器架构，其中图像编码器基于Transformer实现，文本解码器同样基于Transformer构建。图像编码器权重初始化自BEiT模型，而文本解码器权重则初始化自RoBERTa模型。

图像以固定尺寸(16x16分辨率)的块序列形式输入模型，这些块经过线性嵌入处理。在将序列送入Transformer编码器各层之前，还会添加绝对位置嵌入。随后，Transformer文本解码器以自回归方式生成文本标记。

预期用途与限制

您可将该原始模型用于单行文本图像的光学字符识别(OCR)任务。访问模型中心可查找针对特定任务进行微调的版本。

使用方法

以下是在PyTorch中使用该模型的方式：

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

# 从IIIT-5k数据集加载图像
url = 'https://i.postimg.cc/ZKwLg2Gw/367-14.png'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

processor = TrOCRProcessor.from_pretrained('microsoft/trocr-base-str')
model = VisionEncoderDecoderModel.from_pretrained('microsoft/trocr-base-str')
pixel_values = processor(images=image, return_tensors="pt").pixel_values

generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

BibTeX引用信息

@misc{li2021trocr,
      title={TrOCR: 基于预训练模型的Transformer光学字符识别}, 
      author={李明浩 and 吕腾超 and 崔磊 and 卢艺娟 and Dinei Florencio and 张策 and 李周军 and 韦福如},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}