许可证: apache-2.0 数据集:

• yuntian-deng/im2latex-100k 评估指标:
• bleu
• cer 任务标签: 图像转文本 标签:
• 视觉
• nougat 基础模型:
• facebook/nougat-small

公式识别专用Nougat模型

我们基于小型Nougat模型，使用IM2LATEX-100K数据集进行微调，使其特别擅长从图像中识别数学公式。

模型详情

模型描述

公式识别专用Nougat模型擅长从图像中提取数学公式。该模型接收白色背景黑色公式的图像输入，并输出精确的LaTeX公式代码。

Nougat模型（学术文档神经光学理解系统）由Meta AI于2023年8月提出，是一种用于处理科学文档的视觉Transformer模型。它能将PDF格式文档转换为标记语言，特别在数学表达式和表格识别方面表现优异。该模型旨在通过连接人类可读文档与机器可读文本来提升科学知识的可及性。

• 模型类型: 视觉编码器-解码器
• 微调基础模型: Nougat小型版本

用途

本模型可作为复杂公式转LaTeX代码的工具，有望成为其他工具的优质替代品。

典型应用场景：

• 记笔记时快速获取长公式的LaTeX/Markdown代码
• 开发LaTeX代码生成工具或应用程序
• 可针对特定学科领域继续微调以增强识别能力

快速开始

以下演示如何输入图像并生成公式代码：

from transformers import NougatProcessor, VisionEncoderDecoderModel
from PIL import Image

max_length = 100 # 定义输出最大长度
processor = NougatProcessor.from_pretrained(r".", max_length=max_length) # 替换为实际路径
model = VisionEncoderDecoderModel.from_pretrained(r".") # 替换为实际路径

image = Image.open(r"图片路径") # 替换为实际路径
image = processor(image, return_tensors="pt").pixel_values # 处理器将调整图像尺寸

result_tensor = model.generate(
            image,
            max_length=max_length,
            bad_words_ids=[[processor.tokenizer.unk_token_id]]
              ) # 生成张量

result = processor.batch_decode(result_tensor, skip_special_tokens=True) # 解码结果
result = processor.post_process_generation(result, fix_markdown=False)

print(*result)

训练详情

训练数据

IM2LATEX-100K

预处理

• 图像处理：如上述演示所示
• 公式处理：
  1. 去除公式字符串中的空格
  2. 使用处理器进行标记化

训练超参数

• 优化器：torch.optim.AdamW(model.parameters(), lr=1e-4)

评估

测试数据与指标

• 测试数据来源：IM2LATEX-100K（已预分割）
• 评估指标：BLEU和CER

评估结果

测试集表现：BLEU 0.8157 | CER 0.1601