开源协议: MIT
基础模型:

• Shitao/OmniGen-v1
  任务类型: 文生图
  标签:
• 图生图

本仓库包含OmniGen-v1的8比特量化权重。关于OmniGen的详细信息请参阅原始模型卡片。

• 4比特（bf16, nf4）权重: gryan/OmniGen-v1-bnb-4bit
• 4比特（fp16, nf4）权重: gryan/OmniGen-v1-fp16-bnb-4bit ——适用于较旧显卡（Ampere/RTX 30xx之前）或Colab用户。

使用方法

开始前请按照原始快速入门指南配置环境。

[!重要提示]
注意：该功能尚未官方支持。需从此拉取请求安装代码库。

from OmniGen import OmniGenPipeline, OmniGen

# 在流程中加载量化模型
model = OmniGen.from_pretrained('gryan/OmniGen-v1-bnb-8bit')
pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1", model=model)

# 正常使用流程！

## 文生图
images = pipe(
    prompt="穿红衬衫的卷发男子正在喝茶", 
    height=1024, 
    width=1024, 
    guidance_scale=2.5,
    seed=0,
)
images[0].save("example_t2i.png")  # 保存输出的PIL图像

## 多模态生图
# 在提示词中使用<img><|image_*|></img>格式占位符表示图像
# input_images可添加多张图像，需确保每个图像都有对应占位符。例如input_images为[img1路径, img2路径]时，提示词需包含两个占位符：<img><|image_1|></img>和<img><|image_2|></img>
images = pipe(
    prompt="穿黑衬衫的男子正在读书。该男子是<img><|image_1|></img>中右侧的男子",
    input_images=["./imgs/test_cases/two_man.jpg"],
    height=1024, 
    width=1024,
    guidance_scale=2.5, 
    img_guidance_scale=1.6,
    seed=0
)
images[0].save("example_ti2i.png")  # 保存输出的PIL图像

图像样本（8比特）