许可证: mit
许可证名称: deepseek
许可证链接: LICENSE
任务类型: 任意到任意
库名称: transformers
标签:

• 多模态
• 文本生成图像
• 统一模型

1. 简介

我们推出JanusFlow，这是一个强大的框架，将图像理解与生成统一在单一模型中。
JanusFlow采用极简架构，将自回归语言模型与生成建模领域的前沿方法——修正流（rectified flow）相结合。
我们的核心发现表明，修正流可以直接在大型语言模型框架内训练，无需复杂的架构修改。

JanusFlow：协调自回归与修正流实现统一多模态理解与生成

GitHub代码库

2. 模型概览

JanusFlow是基于DeepSeek-LLM-1.3b-base构建的统一理解与生成多模态大语言模型（MLLM），其视觉编码模块针对多模态理解和生成任务进行解耦设计。

• 多模态理解：采用SigLIP-L视觉编码器，支持384×384分辨率图像输入。
• 图像生成：结合修正流与SDXL-VAE生成384×384分辨率图像。
  当前提供的检查点为预训练及监督微调后的EMA（指数移动平均）版本。

3. 快速开始

请参阅GitHub代码库

4. 许可协议

本代码库遵循MIT许可证，JanusFlow模型使用需遵守DeepSeek模型许可。

5. 引用

@misc{ma2024janusflow,  
      title={JanusFlow：协调自回归与修正流实现统一多模态理解与生成},  
      author={马一扬 and 刘兴超 and 陈晓康 and 刘文 and 吴承岳 and 吴志宇 and 潘子正 and 谢振达 and 张浩威 and 于兴凯 and 赵亮 and 王奕松 and 刘佳颖 and 阮冲},  
      journal={arXiv预印本 arXiv:2411.07975},  
      year={2024}  
}  

6. 联系我们

如有疑问，请提交issue或发送邮件至service@deepseek.com。