许可证: mit
许可证名称: deepseek
许可证链接: LICENSE
任务标签: 任意到任意
库名称: transformers
标签:

• 多模态
• 文本到图像
• 统一模型

1. 简介

Janus-Pro 是一种新颖的自回归框架，统一了多模态理解和生成。
它通过将视觉编码解耦为独立路径，同时仍使用单一的统一 Transformer 架构进行处理，解决了先前方法的局限性。这种解耦不仅缓解了视觉编码器在理解和生成角色之间的冲突，还增强了框架的灵活性。
Janus-Pro 超越了之前的统一模型，并达到或超过了特定任务模型的性能。
Janus-Pro 的简洁性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选者。

GitHub 仓库

2. 模型概述

Janus-Pro 是一个统一理解和生成的多模态大语言模型（MLLM），它将多模态理解和生成的视觉编码解耦。
Janus-Pro 基于 DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base 构建。

对于多模态理解，它使用 SigLIP-L 作为视觉编码器，支持 384 x 384 的图像输入。对于图像生成，Janus-Pro 使用来自 此处 的分词器，降采样率为 16。

3. 快速开始

请参考 GitHub 仓库

4. 许可证

本代码仓库遵循 MIT 许可证。Janus-Pro 模型的使用受 DeepSeek 模型许可证 约束。

5. 引用

@misc{chen2025januspro,  
      title={Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling},   
      author={Xiaokang Chen and Zhiyu Wu and Xingchao Liu and Zizheng Pan and Wen Liu and Zhenda Xie and Xingkai Yu and Chong Ruan},  
      year={2025},  
}  

6. 联系方式

如有任何问题，请提交 issue 或通过 service@deepseek.com 联系我们。