许可证：apache-2.0
推理：false

套娃多模态模型（M3）模型卡片

模型详情

模型类型：
套娃多模态模型（M3）允许在运行时显式控制视觉粒度（每个样本的视觉标记数量）。同时，该模型本身可作为图像/数据集复杂度的度量标准。
M3是通过在视觉对话数据上微调LLaMA/Vicuna训练而成的开源聊天机器人。
它是一个基于Transformer架构的自回归语言模型。

模型发布日期：
llava-v1.5-7b-m3于2024年5月训练完成。论文

论文或更多信息参考：
https://matryoshka-mm.github.io/

许可证

Llama 2遵循LLAMA 2社区许可证，
版权所有 (c) Meta Platforms, Inc. 保留所有权利。

模型问题或意见反馈渠道：
https://github.com/mu-cai/matryoshka-mm/issues

使用目的

主要用途：
M3的主要用途是研究大型多模态模型和聊天机器人。

主要目标用户：
该模型的主要目标用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

训练数据集

• 来自LAION/CC/SBU的558K条经过过滤的图像-文本对，由BLIP生成描述。
• 来自LLaVA-1.5的665K条图像级指令数据。

评估数据集

套娃多模态模型（M3）即使每张图像仅使用1或9个视觉标记，也能表现出强劲的性能。