许可证：agpl-3.0
数据集：

• OleehyO/latex-formulas
  评估指标：
• bleu
  流水线标签：image-to-text
  标签：
• latex
• formula
• transformers

im2latex_model

该模型是基于图像生成LaTeX公式的数据集训练的VisionEncoderDecoderModel。
此项目复现了以下论文：https://arxiv.org/html/2408.04015v1。
注意：在论文中，模型在训练后对手写数据进行了微调。此模型为微调前的版本。

模型详情

• 编码器：Swin Transformer
• 解码器：GPT-2
• 框架：PyTorch

训练数据

数据取自OleehyO/latex-formulas。数据按80:10:10的比例划分为训练集、验证集和测试集。划分方式如下：

dataset = load_dataset(OleehyO/latex-formulas, cleaned_formulas)  
train_val_split = dataset["train"].train_test_split(test_size=0.2, seed=42)  
train_ds = train_val_split["train"]  
val_test_split = train_val_split["test"].train_test_split(test_size=0.5, seed=42)  
val_ds = val_test_split["train"]  
test_ds = val_test_split["test"]  

评估指标

模型在测试集上的评估结果如下：

• 测试损失：0.09
• 测试BLEU分数：0.69

使用方法

可直接通过transformers库使用该模型：

from transformers import VisionEncoderDecoderModel, AutoTokenizer, AutoFeatureExtractor  
import torch  
from PIL import Image  

# 加载模型、分词器和特征提取器  
model = VisionEncoderDecoderModel.from_pretrained("your-username/your-model-name")  
tokenizer = AutoTokenizer.from_pretrained("your-username/your-model-name")  
feature_extractor = AutoFeatureExtractor.from_pretrained("your-username/your-model-name")  

# 准备图像  
image = Image.open("path/to/your/image.png")  
pixel_values = feature_extractor(images=image, return_tensors="pt").pixel_values  

# 生成LaTeX公式  
generated_ids = model.generate(pixel_values)  
generated_texts = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)  

print("生成的LaTeX公式：", generated_texts[0])  

训练脚本

该模型的训练脚本可在以下仓库中找到：GitHub

许可证：agpl-3.0