license: apache-2.0 library_name: transformers pipeline_tag: image-to-image frameworks:

• Pytorch tasks:
• any-to-any

Nexus-Gen是什么

Nexus-Gen是一个将大语言模型的语言推理能力与扩散模型的图像生成能力相融合的统一模型。为实现大语言模型与扩散模型嵌入空间的对齐，我们设计了双阶段对齐训练流程：(1)自回归大语言模型学习根据多模态输入预测图像嵌入；(2)视觉解码器训练从这些嵌入重建高保真图像。在训练大语言模型时，我们发现自回归范式在训练与推理阶段存在关键差异——连续嵌入空间的误差累积会严重降低生成质量。为此，我们创新性地提出预填充自回归策略，用位置编码的特殊标记而非连续嵌入预填充输入序列。通过双阶段训练，Nexus-Gen已具备综合解决以下图像理解、生成与编辑任务的集成能力。

更多信息请访问项目仓库：https://github.com/modelscope/Nexus-Gen.git

快速开始

安装指南

1. 从源码安装DiffSynth-Studio：

git clone https://github.com/modelscope/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -e .

2. 安装依赖项

pip install -r requirements.txt

3. 如需微调Nexus-Gen，请安装ms-swift

pip install ms-swift -U

模型准备

python download_models.py

图像理解

python image_understanding.py

图像生成

基于详细提示词生成图像：

python image_generation.py

通过Nexus-Gen自动优化提示词并生成图像：

image_generation_with_selfpolish.py

图像编辑

python image_editing.py

训练代码

Nexus-Gen基于ms-swift和DiffSynth-Studio框架训练。训练脚本详见train/scripts/train_decoder.sh与train_llm.sh文件。