🚀 Pastel Mix

Pastel Mix 是一款风格化的潜在扩散模型，旨在通过少量提示词生成高质量、高细节的动漫风格图像。它模仿了类似粉彩的艺术风格，并融合了多种 LORA 模型，还支持使用 danbooru 标签生成图像。

🚀 快速开始

使用 Git 下载

git lfs install
git clone https://huggingface.co/andite/pastel-mix

🧨 Diffusers 使用方法

该模型的使用方式与其他 Stable Diffusion 模型相同。更多信息请参考 Stable Diffusion。 你还可以将模型导出为 ONNX、MPS 和/或 FLAX/JAX 格式。

from diffusers import StableDiffusionPipeline
import torch

model_id = "andite/pastel-mix"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "hatsune_miku"
image = pipe(prompt).images[0]

image.save("./hatsune_miku.png")

Gradio 在线体验

我们支持通过 Gradio Web UI 运行 Pastel Mix 模型：

✨ 主要特性

• 高质量动漫风格：能够生成具有高细节和高质量的动漫风格图像。
• 支持 danbooru 标签：可以使用 danbooru 标签来引导图像生成。
• 融合 LORA 模型：通过融合多种 LORA 模型，创造出独特的图像风格。

💻 使用示例

基础用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "andite/pastel-mix"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "masterpiece, best quality, upper body, 1girl, looking at viewer, red hair, medium hair, purple eyes, demon horns, black coat, indoors, dimly lit"
image = pipe(prompt).images[0]

image.save("./example.png")

高级用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "andite/pastel-mix"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "mksks style, masterpiece, best quality, upper body, 1girl, looking at viewer, red hair, medium hair, purple eyes, demon horns, black coat, indoors, dimly lit"
negative_prompt = "lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))"
image = pipe(prompt, negative_prompt=negative_prompt).images[0]

image.save("./advanced_example.png")

📚 详细文档

示例图像及参数

示例 1

masterpiece, best quality, ultra-detailed, illustration, portrait, 1girl
Negative prompt: lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 448x640, Model hash: 7edc8e08, Model: pastelmix-fp32, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires resize: 960x1280, Hires steps: 20, Hires upscaler: Latent

示例 2

masterpiece, best quality, ultra-detailed, illustration, portrait, hakurei reimu, 1girl, throne room, dimly lit
Negative prompt: lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 448x640, Model hash: 7edc8e08, Model: pastelmix-fp32, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires resize: 960x1280, Hires steps: 20, Hires upscaler: Latent

'better-vae' 版本说明

我将 pastel-waifu-diffusion.vae.pt 合并到了模型中，这样你就无需再单独设置 VAE 了。

pastelmix-lora.safetensors 说明

这是一个 LORA 版本，它是通过类似于 add-difference 方法的脚本从 Pastel Mix 中提取 LORA 得到的。 详细信息

使用指南

对于设置或参数，我推荐使用以下设置：

Sampler: DPM++ 2M Karras
Steps: 20
CFG Scale: 7
Hires. Fix: On
Upscaler: Latent (MUST!)
Hires Steps: 20
Denoising Strength: 0.6

我更喜欢使用 0.6 的去噪强度，因为这是该模型的最佳平衡点。如果你能为该模型找到更好的设置，那当然更好啦。 潜在上采样器对我来说是最好的设置，因为它可以保留或增强粉彩风格。其他上采样器（如 Lanczos 或 Anime6B）往往会使图像变得平滑，去除类似粉彩的笔触。 请使用我在本仓库中上传的 VAE，它来自 Waifu Diffusion 团队。感谢 haru 允许我重命名并上传它。

提示（可选）

在提示词开头添加 mksks style 可以进一步影响类似粉彩的风格，使输出效果更好。不过这是可选的，你可以根据自己的需求决定是否使用。

mksks style, masterpiece, best quality, upper body, 1girl, looking at viewer, red hair, medium hair, purple eyes, demon horns, black coat, indoors, dimly lit
Negative prompt: lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 580841049, Size: 448x640, Model hash: 7edc8e08, Model: pastelmix-fp32, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires resize: 960x1280, Hires steps: 20, Hires upscaler: Latent

模型融合配方

模型合并

LORA 合并

📄 许可证

该模型采用 CreativeML OpenRAIL-M 许可证，允许所有人免费使用。该许可证规定：

1. 你不得使用该模型故意生成或分享非法或有害的输出或内容。
2. 作者对您生成的输出不主张任何权利，您可以自由使用它们，但需对其使用负责，且不得违反许可证中的规定。
3. 您可以重新分发模型权重，并将模型用于商业用途或作为服务使用。如果您这样做，请确保包含与许可证中相同的使用限制，并向所有用户分享 CreativeML OpenRAIL-M 许可证的副本（请完整、仔细地阅读许可证）。 请在此处阅读完整许可证

致谢

感谢 東方Project AI 社区提供的优秀 LORA。

• Closertodeath 提供了 dpepmkmp 模型以及 xlimo768、dpep 2 768 LORA。
• dolphinz/sometimes#9353 提供了 tabi 艺术风格的 LORA。
• SatyamSSJ10 提供了 Jordan_3 LORA。
• randomaccessmemories#4004 提供了 Magic Lora。