基础模型:

• microsoft/trocr-base-handwritten 任务标签: 图像转文本 评估指标:
• 字错误率(cer)
• 词错误率(wer) 许可证: mit

芬兰19世纪法庭记录手写体识别模型

该模型用于从文本行图像中识别手写文字。通过使用芬兰语和瑞典语的19世纪数字化法庭记录文档对微软TrOCR模型进行微调训练而成。

使用场景与限制

本模型专为识别特定类型的19世纪手写数据训练，可能对其他数据集的泛化能力较差。

模型输入应为文本行图像，不建议使用其他类型的输入数据。

使用方法

可通过以下代码预测图像中的文本内容，建议在有GPU的情况下进行推理：

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import torch

# 检测GPU可用性
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# Huggingface Hub中的模型路径
model_checkpoint = "Kansallisarkisto/court-records-htr"
# 文本行图像路径
line_image_path = "/path/to/textline_image.jpg"

# 初始化处理器和模型
processor = TrOCRProcessor.from_pretrained(model_checkpoint)
model = VisionEncoderDecoderModel.from_pretrained(model_checkpoint).to(device)

# 读取图像并提取像素值
image = Image.open(line_image_path).convert("RGB")
pixel_values = processor(image, return_tensors="pt").pixel_values

# 生成预测结果
generated_ids = model.generate(pixel_values.to(device))
# 解码预测结果
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(generated_text)

从HuggingFace Hub下载的模型会保存在本地~/.cache/huggingface/hub/目录。

训练数据

训练集包含314,228张19世纪法庭记录的文本行图像，验证集包含39,042张文本行图像。

训练过程

使用NVIDIA RTX A6000 GPU进行训练，主要超参数如下：

• 训练批次大小: 24
• 训练轮次: 13
• 优化器: AdamW
• 文本序列最大长度: 64

其他参数保持默认值（详见TrOCR文档）。训练代码参见train_trocr.py文件。

评估结果

验证集评估结果如下：

评估指标通过Evaluate库计算。字错误率(CER)详情参见此处，词错误率(WER)详情参见此处。