许可证: mit 任务标签: 图像转文本 数据集:

• antoniorv6/grandstaff 标签:
• 光学乐谱识别
• 钢琴谱摄像头 arxiv: 2402.07596

乐谱转换器（基础模型，基于Grandstaff数据集微调）

该SMT模型在_Camera_ GrandStaff钢琴谱数据集上进行了微调，用于钢琴谱转录。模型代码托管于此代码库。

模型描述

SMT模型由视觉编码器（ConvNext）和文本解码器（经典Transformer）构成。当输入乐谱系统图像时，编码器首先将图像编码为嵌入张量（形状为batch_size, seq_len, hidden_size），随后解码器基于编码器的输出进行自回归文本生成。

使用范围与限制

本模型专为Grandstaff数据集微调，仅适用于钢琴谱图像的转录任务。

BibTeX引用信息

@misc{RiosVila2024,
      title={乐谱转换器：超越单音转录的端到端光学乐谱识别}, 
      author={安东尼奥·里奥斯-维拉 和 豪尔赫·卡尔沃-萨拉戈萨 和 蒂埃里·帕克特},
      year={2024},
      eprint={2402.07596},
      archivePrefix={arXiv},
      primaryClass={计算机视觉},
      url={https://arxiv.org/abs/2402.07596}, 
}