许可协议: mit
基础模型:

• Shitao/OmniGen-v1
  任务标签: 文本生成图像
  标签:
• 图像生成图像

本仓库包含为OmniGen-v1优化的bitsandbytes 4bit-NF4 float16模型权重。这些权重专为Google Colab用户或GPU不支持bfloat16格式的用户设计。其他寻求4位量化的用户应优先选择bf16-bnb-4bit模型，因其能生成更高质量的图像。关于OmniGen的详细信息，请参阅原始模型卡片。

• 8位量化权重: gryan/OmniGen-v1-bnb-8bit
• 4位量化(bf16/nf4)权重: gryan/OmniGen-v1-bnb-4bit

使用说明

开始前请按照原始快速入门指南配置环境。

[!重要提示]
注意：此功能尚未获得官方支持。您需要从此拉取请求安装仓库代码。

from OmniGen import OmniGenPipeline, OmniGen  

# 在管道中加载量化模型  
model = OmniGen.from_pretrained('gryan/OmniGen-v1-fp16-bnb-4bit', dtype=torch.float16)  
pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1", model=model)  

# 正常使用流程  

## 文本生成图像  
images = pipe(  
    prompt="一个卷发红衬衫男子正在喝茶",  
    height=1024,  
    width=1024,  
    guidance_scale=2.5,  
    seed=0,  
)  
images[0].save("example_t2i.png")  # 保存输出的PIL图像  

## 多模态生成图像  
# 在提示词中使用<img><|image_*|></img>格式的占位符代表图像  
# input_images可添加多张图片，需确保每个占位符对应一张图片。例如input_images为[img1路径, img2路径]时，提示词需包含两个占位符：<img><|image_1|></img>和<img><|image_2|></img>  
images = pipe(  
    prompt="穿黑衬衫的男子正在读书。该男子是<img><|image_1|></img>中右侧的人",  
    input_images=["./imgs/test_cases/two_man.jpg"],  
    height=1024,  
    width=1024,  
    guidance_scale=2.5,  
    img_guidance_scale=1.6,  
    seed=0  
)  
images[0].save("example_ti2i.png")  # 保存输出的PIL图像  

生成示例