许可证: MIT
流水线标签: 文本生成图像
标签:

• 图像生成图像

OmniGen：统一图像生成模型

更多信息请访问我们的代码库: https://github.com/VectorSpaceLab/OmniGen

最新动态 | 方法原理 | 功能展示 | 快速开始 | 模型微调 | 许可证 | 引用说明

1. 最新动态

• 2024-10-28: 发布新版推理代码，优化内存占用与时间成本。详见文档
• 2024-10-22: 🔥 发布OmniGen核心代码：推理指南 | 训练指南
• 2024-10-22: 🔥 发布OmniGen初版模型：模型权重 | 演示空间

2. 模型概览

OmniGen是支持多模态提示的统一图像生成模型，设计理念是简洁、灵活、易用。我们提供推理代码供探索更多功能。

现有图像生成模型常需加载额外模块（如ControlNet、IP-Adapter等）并执行预处理（如人脸检测、姿态估计等）。我们认为未来图像生成应像GPT处理文本那样，直接通过多模态指令生成多样化图像，无需插件和复杂操作。

受资源限制，OmniGen仍有改进空间。我们将持续优化，并期待其启发更通用的图像生成模型。您可通过微调脚本轻松扩展功能——只需准备对应数据，无需设计特定网络架构。想象力不再受限，每个人都能构建创意图像生成任务。

如有疑问或创意想法，欢迎联系：2906698981@qq.com, wangyueze@tju.edu.cn, zhengliu1026@gmail.com

3. 方法原理

详见我们的论文

4. 功能展示

OmniGen支持文本生成图像、主体驱动生成、身份保持生成、图像编辑等任务。无需额外插件，模型能自动识别输入图像特征（如目标物体、人体姿态、深度图等）
示例见inference.ipynb，创意工作流见inference_demo.ipynb

通过OmniGen灵活控制图像生成：

如需增强功能，可尝试微调模型

5. 快速开始

安装使用

通过GitHub安装：

git clone https://github.com/staoxiao/OmniGen.git  
cd OmniGen  
pip install -e .  

或创建独立环境：

conda create -n omnigen python=3.10.12  
conda activate omnigen  
pip install torch==2.3.1+cu118 torchvision --extra-index-url https://download.pytorch.org/whl/cu118  
git clone https://github.com/staoxiao/OmniGen.git  
cd OmniGen  
pip install -e .  

基础示例：

from OmniGen import OmniGenPipeline  

# 文本生成图像  
pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1")  
images = pipe(prompt="穿红衬衫的卷发男士在喝茶", height=1024, width=1024)  
images[0].save("output.png")  

# 多模态生成（图像占位符格式：<img><|image_*|></img>）  
images = pipe(  
    prompt="穿黑衬衫的男士在读书，该男士是<img><|image_1|></img>中的右侧人物",  
    input_images=["./test_image.jpg"]  
)  

• 内存不足时可设置offload_model=True
• 更多参数说明见推理文档

Diffusers支持

即将推出

本地演示

pip install gradio spaces  
python app.py  

Google Colab使用

!git clone https://github.com/staoxiao/OmniGen.git  
%cd OmniGen  
!pip install -e .  
!pip install gradio spaces  
!python app.py --share  

6. 模型微调

提供LoRA微调示例：

accelerate launch --num_processes=1 train.py \  
    --model_name_or_path Shitao/OmniGen-v1 \  
    --batch_size 2 \  
    --use_lora \  
    --json_file ./toy_data.jsonl \  
    --image_path ./images \  
    --results_dir ./results  

完整微调指南见训练文档

贡献者

感谢所有贡献者，欢迎加入！

许可证

本仓库采用MIT许可证

引用

@article{xiao2024omnigen,  
  title={Omnigen: 统一图像生成},  
  author={肖世涛, 王跃泽, 周俊杰等},  
  journal={arXiv预印本},  
  year={2024}  
}