许可证: mit 数据集:

• OleehyO/latex-formulas 评估指标:
• bleu 流水线标签: 图像转文本 标签:
• latex
• 公式

im2latex

该模型是基于VisionEncoderDecoderModel的基准模型，针对从图像生成LaTeX公式的数据集进行了微调。

模型详情

• 编码器: Swin Transformer
• 解码器: GPT-2
• 框架: PyTorch
• 分布式数据并行(DDP): 用于训练

训练数据

数据取自OleehyO/latex-formulas。数据按80:10:10的比例划分为训练集、验证集和测试集。划分方式如下：

dataset = load_dataset(OleehyO/latex-formulas, cleaned_formulas)
train_val_split = dataset["train"].train_test_split(test_size=0.2, seed=42)
train_ds = train_val_split["train"]
val_test_split = train_val_split["test"].train_test_split(test_size=0.5, seed=42)
val_ds = val_test_split["train"]
test_ds = val_test_split["test"]

评估指标

模型在测试集上的评估结果如下：

• 测试损失: 0.10
• 测试BLEU分数: 0.67

使用方法

您可以直接使用transformers库调用该模型：

from transformers import VisionEncoderDecoderModel, AutoTokenizer, AutoFeatureExtractor
import torch
from PIL import Image

# 加载模型、分词器和特征提取器
model = VisionEncoderDecoderModel.from_pretrained("DGurgurov/im2latex")
tokenizer = AutoTokenizer.from_pretrained("DGurgurov/im2latex")
feature_extractor = AutoFeatureExtractor.from_pretrained("microsoft/swin-base-patch4-window7-224-in22k") # 暂时使用原始特征提取器

# 准备图像
image = Image.open("路径/到/您的/图片.png")
pixel_values = feature_extractor(images=image, return_tensors="pt").pixel_values

# 生成LaTeX公式
generated_ids = model.generate(pixel_values)
generated_texts = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)

print("生成的LaTeX公式:", generated_texts[0])

训练脚本

该模型的训练脚本可在以下仓库中找到：GitHub

引用:

• 如果您在研究中使用了本工作，请引用我们的论文：

@misc{gurgurov2024imagetolatexconvertermathematicalformulas,
      title={数学公式和文本的图像到LaTeX转换器}, 
      author={Daniil Gurgurov and Aleksey Morshnev},
      year={2024},
      eprint={2408.04015},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2408.04015}, 
}

许可证 [MIT]