许可证: mit
许可证名称: deepseek
许可证链接: LICENSE
任务类型: 任意到任意
库名称: transformers
标签:

• 多模态
• 文生图
• 统一模型

1. 简介

Janus-Pro 是一种创新的自回归框架，统一了多模态理解与生成能力。
该框架通过将视觉编码解耦为独立路径，同时仍采用单一的统一Transformer架构进行处理，从而解决了先前方法的局限性。这种解耦不仅缓解了视觉编码器在理解与生成角色间的冲突，还增强了框架的灵活性。
Janus-Pro 超越了以往的统一模型，其性能与专用任务模型相当甚至更优。
凭借简洁性、高灵活性和高效性，Janus-Pro 成为下一代统一多模态模型的强力候选者。

GitHub代码库

2. 模型概览

Janus-Pro 是统一理解与生成的多模态大语言模型，通过解耦视觉编码实现多模态理解与生成。
模型基于 DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base 构建。

多模态理解采用 SigLIP-L 视觉编码器，支持384×384图像输入；图像生成使用 LlamaGen 的分辨率16倍降采样分词器。

3. 快速开始

请参阅 GitHub代码库

4. 许可证

代码库遵循 MIT许可证，模型使用受 DeepSeek模型许可证 约束。

5. 引用

@misc{chen2025januspro,  
      title={Janus-Pro: 通过数据和模型扩展实现统一多模态理解与生成},  
      author={陈晓康、吴志宇、刘兴超、潘子政、刘文、谢振达、余兴凯、阮冲},  
      year={2025},  
}  

6. 联系

如有疑问，请提交issue或发送邮件至 service@deepseek.com。