基础模型:

• Kansallisarkisto/multicentury-htr-model-onnx 任务标签: 图像转文本 许可证: mit

表格单元格图像手写文本识别

该模型用于从文本行图像中识别手写文本。它是通过对芬兰国家档案馆的多世纪手写文本识别模型和微软的TrOCR模型进行微调训练而成，训练数据来源于20世纪30年代芬兰死亡记录和人口普查记录表格中的文本行图像。

预期用途与限制

该模型经过训练，专门用于识别特定类型表格单元格中的手写文本，可能对其他数据集的泛化能力较差。

模型输入应为文本行图像，不建议使用其他类型的输入。

使用方法

可以通过以下代码预测图像的文本内容。建议在可用时使用GPU进行推理。

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import torch

# 使用GPU（如果可用）
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# Huggingface Hub中的模型位置
model_checkpoint = "Kansallisarkisto/tablecell-htr"
# 文本行图像路径
line_image_path = "/path/to/textline_image.jpg"

# 初始化处理器和模型
processor = TrOCRProcessor.from_pretrained(model_checkpoint)
model = VisionEncoderDecoderModel.from_pretrained(model_checkpoint).to(device)

# 打开图像文件并提取像素值
image = Image.open(line_image_path).convert("RGB")
pixel_values = processor(image, return_tensors="pt").pixel_values

# 使用模型生成预测
generated_ids = model.generate(pixel_values.to(device))
# 使用处理器将ID解码为文本
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(generated_text)

从HuggingFace Hub下载的模型会保存在本地的~/.cache/huggingface/hub/目录下。

训练数据

模型训练使用了6704张文本行图像，验证数据集包含836张文本行图像。

训练过程

该模型在NVIDIA RTX A6000 GPU上训练，超参数如下：

• 训练批次大小：16
• 训练轮次：15
• 优化器：AdamW
• 文本序列最大长度：64

其他参数使用默认值（更多信息请参见此处）。训练代码可在train_trocr.py文件中找到。

评估结果

使用验证数据集得到的评估结果如下：

这些指标是使用Evaluate库计算的。关于CER指标的更多信息请参见此处。关于WER指标的更多信息请参见此处。