许可证: mit
许可证名称: deepseek
许可证链接: LICENSE
任务类型: 任意到任意
库名称: transformers
标签:

• 多模态
• 文本到图像
• 统一模型

1. 简介

Janus-Pro 是一种新颖的自回归框架，统一了多模态理解与生成能力。
它通过将视觉编码解耦为独立路径，同时仍使用单一的统一 Transformer 架构进行处理，从而解决了先前方法的局限性。这种解耦不仅缓解了视觉编码器在理解与生成角色间的冲突，还增强了框架的灵活性。
Janus-Pro 超越了之前的统一模型，并达到或超过了专用任务模型的性能。
其简洁性、高灵活性和高效性使其成为下一代统一多模态模型的强力候选者。

GitHub 仓库

2. 模型概述

Janus-Pro 是一个统一理解与生成的多模态大语言模型（MLLM），其视觉编码针对多模态理解和生成进行了分离设计。
Janus-Pro 基于 DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base 构建。

对于多模态理解，它使用 SigLIP-L 作为视觉编码器，支持 384 x 384 的图像输入。对于图像生成，Janus-Pro 采用来自 LlamaGen 的分词器，降采样率为 16。

3. 快速开始

请参考 GitHub 仓库

4. 许可证

本代码仓库遵循 MIT 许可证。Janus-Pro 模型的使用需遵守 DeepSeek 模型许可证。

5. 引用

@article{chen2025janus,  
  title={Janus-Pro: 通过数据和模型扩展实现统一多模态理解与生成},  
  author={陈晓康, 吴志宇, 刘星辰, 潘子正, 刘文, 谢振达, 于星凯, 阮冲},  
  journal={arXiv 预印本 arXiv:2501.17811},  
  year={2025}  
}  

6. 联系我们

如有任何问题，请提交 issue 或发送邮件至 service@deepseek.com。