🚀 LLaVA-UHD v2 模型卡片

LLaVA-UHD v2 是一款先进的多模态大语言模型（MLLM），它围绕分层窗口变换器构建，能够通过构建和集成高分辨率特征金字塔来捕捉不同的视觉粒度，主要用于大模态模型和聊天机器人的研究。

📚 详细文档

模型详情

许可证

LLaVA-UHD v2 遵循 LLAMA 2 社区许可证，版权归 Meta Platforms, Inc. 所有，保留所有权利。

问题反馈

若你对该模型有任何问题或建议，可前往 https://github.com/thunlp/LLaVA-UHD/issues 反馈。

预期用途

• 主要预期用途：LLaVA-UHD v2 主要用于大型多模态模型和聊天机器人的研究。
• 主要目标用户：该模型的主要目标用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

训练数据集

• VDIM 预训练：MS-COCO stuff 2017
• 预训练：LLaVA-Pretrain 558K（从 LAION/CC/SBU 中筛选的图像 - 文本对，由 BLIP 加了标题）
• 监督微调（SFT）：https://huggingface.co/datasets/YipengZhang/LLaVA-UHD-v2-SFT-Data 中的 858k 混合数据集

引用信息

如果您发现 LLaVA-UHD v2 对您的研究和应用有帮助，请使用以下 BibTeX 进行引用：

@article{zhang2024llavauhdv2,
  title={LLaVA-UHD v2: an MLLM Integrating High-Resolution Feature Pyramid via Hierarchical Window Transformer},
  author={Yipeng Zhang and Yifan Liu and Zonghao Guo and Yidan Zhang and Xuesong Yang and Chi Chen and Jun Song and Bo Zheng and Yuan Yao and Zhiyuan Liu and Tat-Seng Chua and Maosong Sun},
  journal={arXiv preprint arXiv:2412.13871},
  year={2024}
}