library_name: transformers
license: apache-2.0
pipeline_tag: image-text-to-text

模型卡片：反思型LLaVA（ReflectiVA）

多模态大语言模型（MLLMs）是将大语言模型自然扩展至处理多模态输入的技术，能够同时结合文本与图像数据。
近期，这类模型因解决涉及双模态的复杂任务能力而备受关注。
但其效能受限于训练阶段获取的知识，制约了实际应用价值。
本研究提出一种创新方法，通过整合外部知识源来增强MLLMs的适应性。
我们提出的Reflective LLaVA（ReflectiVA）模型利用反思令牌动态判断外部知识需求，并预测从外部数据库检索信息的关联性。
令牌训练采用两阶段双模型训练方案，最终使MLLM既能管理外部知识，又能在无需外部知识的任务中保持流畅性与性能。

ReflectiVA在基于知识的视觉问答任务中展现出卓越效能，其表现优于现有方法。

本模型空间提供ReflectiVA第二阶段（整体模型）的权重文件。

更多信息请访问ReflectiVA代码库、项目主页及数据集。

引用

若使用我们的工作，请引用：

@inproceedings{cocchi2024augmenting,
  title={{增强多模态大语言模型：基于反思令牌的知识视觉问答}},
  author={科基, 费代里科 and 莫拉泰利, 尼古拉斯 and 科尔尼亚, 马尔切拉 and 巴拉尔迪, 洛伦佐 and 库基亚拉, 丽塔},
  booktitle={IEEE/CVF计算机视觉与模式识别会议论文集},
  year={2025}
}

论文页面

论文详见 https://huggingface.co/papers/2411.16863