库名称：transformers
标签：

• trocr
• 图像转文本
• 光学字符识别
• 手写
  语言：
• 俄语
  评估指标：
• 字符错误率（CER）
  基础模型：
• microsoft/trocr-base-handwritten

TrOCR-ru（基础尺寸模型，基于西里尔手写数据集微调）

微软TrOCR模型在西里尔手写数据集上微调。原始模型由Li等人在论文TrOCR: 基于Transformer的预训练模型光学字符识别中提出。

模型详情

模型描述

TrOCR模型是一种编码器-解码器模型，由图像Transformer编码器和文本Transformer解码器组成。图像编码器权重初始化为BEiT，文本解码器权重初始化为RoBERTa。

图像以固定大小（16x16分辨率）的补丁序列形式输入模型，并进行线性嵌入。在将序列输入Transformer编码器层之前，还会添加绝对位置嵌入。随后，Transformer文本解码器自回归生成标记。

使用方法

以下是在PyTorch中使用该模型的示例代码：

from transformers import TrOCRProcessor, VisionEncoderDecoderModel  
from PIL import Image  
import requests  

image = Image.open("<图像文件路径或URL>").convert("RGB")  

processor = TrOCRProcessor.from_pretrained('kazars24/trocr-base-handwritten-ru')  
model = VisionEncoderDecoderModel.from_pretrained('kazars24/trocr-base-handwritten-ru')  

pixel_values = processor(images=image, return_tensors="pt").pixel_values  
generated_ids = model.generate(pixel_values)  
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]  

训练详情

训练数据

西里尔手写数据集用于OCR任务，包含73830个俄语手写文本片段（裁剪区域），按95%训练集和5%测试集划分。数据集由SHIFT Lab CFT提供。

更多信息请参阅探索西里尔手写数据集笔记本。

训练样本数：57827
验证样本数：14457

训练超参数

5个训练周期，使用默认超参数。

评估指标

字符错误率（CER）

结果

训练损失：0.026100
验证损失：0.120961
CER：0.048542