license: apache-2.0 pipeline_tag: image-to-text

MMAlaya2多模态模型

MMAlaya2基于InternVL-Chat-V1-5模型微调了20个LoRA模块，并通过PEFT模型合并方法TIES将这些微调后的LoRA模块与原始模型融合。

推理代码详见此处。

在MMBench基准测试中，mmbench_dev_cn_20231003.tsv数据集包含20个类别。我们首先利用InternVL-Chat-V1-5模型进行CoT（思维链）一致性训练数据准备。针对nature_relation（自然关系）、image_emotion（图像情感）、image_scene（图像场景）、action_recognition（动作识别）和image_style（图像风格）等特定类别，我们分析了原模型的错误案例，并通过网络资源补充了相关图像和QA文本。

20个LoRA模块微调完成后，采用TIES方法将其与InternVL-Chat-V1-5模型合并。

特别感谢OpenCompass MMBench团队于2024年8月27日更新的排行榜。我们整理了榜单中的排名与得分供参考，例如"7/82.1"表示该类别排名第7位，得分82.1分。选择GPT-4o (0513, detail-high)作为参照系，因其在MMBench Test (CN)中表现最佳。

在MMBench测试(中文)中平均得分达82.1，较InternVL-Chat-V1-5模型的80.7分提升1.4分。虽然排名第7，但该分数与排名第4的GPT-4o持平，表明模型性能已达GPT-4o水平。其余四项基准测试——MMBench v1.1测试(中文)、CCBench开发集、MMBench测试和MMBench v1.1测试——得分也均有0.2至0.6分的提升，进一步缩小了与GPT-4o的差距。

我们认为这一成果具有显著价值，故决定公开分享本模型。

许可协议

本项目采用MIT许可证，与InternVL-Chat-V1-5模型许可保持一致。需注意InternLM2采用Apache-2.0许可证。

引用声明

若本研究对您有所助益，请考虑引用：

@misc{datacanvas2024mmalaya2,
    author = {九章云极DataCanvas},
    title = {MMAlaya2多模态模型},
    year = {2024},
    howpublished = {\url{https://huggingface.co/DataCanvas/MMAlaya2}},
}