标签:

• 文本生成图像 库名称: diffusers 许可证: apache-2.0

DMM：通过基于蒸馏的模型融合构建多功能图像生成模型

简介

我们提出了一种基于分数蒸馏的模型融合范式DMM，将多个模型压缩为一个多功能文本到图像生成模型。

该检查点融合了来自多个不同领域的预训练模型，包括写实风格、亚洲人像、动漫风格、插画等。 具体来说，源模型如下：

• JuggernautReborn
• MajicmixRealisticV7
• EpicRealismV5
• RealisticVisionV5
• MajicmixFantasyV3
• MinimalismV2
• RealCartoon3dV17
• AWPaintingV1.4

可视化

结果

结合角色LoRA的结果

两种风格插值的结果

在线演示

https://huggingface.co/spaces/MCG-NJU/DMM 。

使用方法

请参考 https://github.com/MCG-NJU/DMM 。

import torch
from modeling.dmm_pipeline import StableDiffusionDMMPipeline

pipe = StableDiffusionDMMPipeline.from_pretrained("path/to/pipeline/checkpoint", torch_dtype=torch.float16, use_safetensors=True)
pipe = pipe.to("cuda")

# 选择模型索引
model_id = 5
output = pipe(
    prompt="一位女孩的肖像照片，金色长发，花朵环绕，最佳质量",
    negative_prompt="最差质量，低质量，普通质量，低分辨率，水印，NSFW",
    width=512,
    height=512,
    num_inference_steps=25,
    guidance_scale=7,
    model_id=model_id,
).images[0]