许可证: apache-2.0 基础模型:

• Qwen/Qwen2.5-7B-Instruct 管道标签: 任意到任意 库名称: bagel-mot

ü•Ø BAGEL ‚Ä¢ 多模态理解与生成的统一模型

我们推出BAGEL，一个开源的、拥有70亿活跃参数（总计140亿）的多模态基础模型，训练于大规模交错多模态数据。BAGEL在标准多模态理解排行榜上超越了当前顶级开源视觉语言模型如Qwen2.5-VL和InternVL-2.5，并在文本到图像生成质量上与SD3等专业生成器相媲美。此外，BAGEL在经典图像编辑场景中展现出优于领先开源模型的定性结果。更重要的是，它扩展至自由形式的视觉操作、多视角合成和世界导航等能力，这些构成了超越传统图像编辑模型范畴的“世界建模”任务。

本仓库托管BAGEL的模型权重。安装、使用说明及更多文档，请访问我们的GitHub仓库。

ü߆ 方法

BAGEL采用混合专家Transformer（MoT）架构，以最大化模型从丰富多样的多模态信息中学习的能力。遵循容量最大化原则，它使用两个独立的编码器分别捕获图像的像素级和语义级特征。整体框架遵循“下一组令牌预测”范式，模型训练目标是预测作为压缩目标的下一组语言或视觉令牌。

BAGEL通过预训练、持续训练和监督微调，在涵盖语言、图像、视频和网络数据的数万亿交错多模态令牌上扩展MoT的容量。它在标准理解和生成基准测试中超越开源模型，并展现出先进的上下文多模态能力，如自由形式图像编辑、未来帧预测、3D操作、世界导航和序列推理。

üå± 涌现特性

随着BAGEL预训练中多模态令牌数量的增加，我们在理解、生成和编辑任务上观察到持续的性能提升。不同能力在不同训练阶段涌现——多模态理解和生成早期出现，随后是基础编辑，而复杂智能编辑则后期显现。这种阶段性进展表明了一种涌现模式，高级多模态推理建立在良好形成的基础技能之上。消融研究进一步表明，结合VAE和ViT特征显著提升智能编辑能力，凸显了视觉语义上下文在实现复杂多模态推理中的重要性，并支持其在高级能力涌现中的作用。

üìä 基准测试

1. 视觉理解

2. 文本到图像生成 ¬∑ GenEval

3. 图像编辑

许可证

BAGEL基于Apache 2.0许可证授权。它微调自Qwen2.5-7B-Instruct和siglip-so400m-14-384-flash-attn2模型，并使用FLUX.1-schnell VAE模型，均遵循Apache 2.0协议。

‚úçÔ∏è 引用

@article{deng2025bagel,
  title   = {统一多模态预训练中的涌现特性},
  author  = {邓超睿 and 朱德尧 and 李昆昌 and 苟晨晖 and 李峰 and 王泽宇 and 钟舒 and 余伟豪 and 聂晓楠 and 宋子昂 and 石光 and 范浩琪},
  journal = {arXiv预印本 arXiv:2505.14683},
  year    = {2025}
}