🚀 MMaDA-8B-MixCoT

我们推出了MMaDA，这是一类新型的多模态扩散基础模型，旨在在文本推理、多模态理解和文本到图像生成等多个领域取得卓越性能。

📖 [文档] • 🚀 [快速开始] • 💻 [示例]

🚀 快速开始

我们推出了MMaDA，这是一类新型的多模态扩散基础模型，旨在在诸如文本推理、多模态理解和文本到图像生成等不同领域取得卓越性能。与 MMaDA-8B-Base 相比，MMaDA-8B-MixCoT 表现出更好的指令遵循能力和更稳定的思维链（CoT）生成性能。

✨ 主要特性

MMaDA有三个关键创新之处，使其脱颖而出：

1. 统一扩散架构：MMaDA采用统一的扩散架构，具有共享的概率公式和与模态无关的设计，无需特定于模态的组件。
2. 混合长思维链微调策略：MMaDA引入了一种混合长思维链（CoT）微调策略，在各模态间精心策划统一的CoT格式。
3. 统一的基于策略梯度的强化学习算法：MMaDA采用了一种统一的基于策略梯度的强化学习算法，我们称之为UniGRPO，专为扩散基础模型量身定制。UniGRPO利用多样化的奖励建模，统一了推理和生成任务的后训练过程，确保性能持续提升。

💻 使用示例

暂无相关内容，后续可补充代码示例等展示模型的使用方法。

📚 详细文档

• 论文链接：MMaDA: Multimodal Large Diffusion Language Models
• 代码仓库：https://github.com/Gen-Verse/MMaDA
• 演示地址：https://huggingface.co/spaces/Gen-Verse/MMaDA

🤝 贡献指南

暂无相关内容，若您希望他人为项目做贡献，可补充贡献规则、流程等信息。

📄 许可证

本项目采用MIT许可证。

🔖 引用

如果您在研究中使用了MMaDA，请使用以下BibTeX引用：

@article{yang2025mmada,
  title={MMaDA: Multimodal Large Diffusion Language Models},
  author={Yang, Ling and Tian, Ye and Li, Bowen and Zhang, Xinchen and Shen, Ke and Tong, Yunhai and Wang, Mengdi},
  journal={arXiv preprint arXiv:2505.15809},
  year={2025}
}