许可协议: mit
许可名称: deepseek
许可链接: LICENSE
任务类型: 任意到任意
库名称: transformers
标签:

• 多模态
• 文本生成图像
• 统一模型

0. 更新

2024.10.20: 我们已上传正确的 tokenizer_config.json 文件。之前的文件缺少 pad_token，导致视觉生成效果不佳。

1. 简介

Janus 是一种新颖的自回归框架，统一了多模态理解与生成。
它通过将视觉编码解耦为独立路径，同时仍使用单一的统一 Transformer 架构进行处理，解决了先前方法的局限性。这种解耦不仅缓解了视觉编码器在理解与生成角色之间的冲突，还增强了框架的灵活性。
Janus 超越了之前的统一模型，并达到或超过了特定任务模型的性能。
Janus 的简洁性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选者。

Janus: 解耦视觉编码以实现统一多模态理解与生成

GitHub 仓库

2. 模型概述

Janus 是一个统一理解与生成的多模态大语言模型（MLLM），它解耦了多模态理解与生成的视觉编码。
Janus 基于 DeepSeek-LLM-1.3b-base 构建，该模型在约 5000 亿文本标记的语料库上训练而成。
对于多模态理解，它使用 SigLIP-L 作为视觉编码器，支持 384 x 384 的图像输入。对于图像生成，Janus 使用来自 此处 的分词器，下采样率为 16。

3. 快速开始

请参考 GitHub 仓库

4. 许可

本代码仓库遵循 MIT 许可协议。Janus 模型的使用受 DeepSeek 模型许可协议 约束。

5. 引用

@misc{wu2024janus,  
      title={Janus: 解耦视觉编码以实现统一多模态理解与生成},  
      author={吴承岳、陈晓康、吴志宇、马一阳、刘兴超、潘子政、刘文、谢振达、于星凯、阮冲、罗平},  
      year={2024},  
      eprint={2410.13848},  
      archivePrefix={arXiv},  
      primaryClass={cs.CV},  
      url={https://arxiv.org/abs/2410.13848},  
}  

6. 联系我们

如有任何问题，请提交 issue 或通过邮件联系我们：service@deepseek.com。