许可协议：creativeml-openrail-m
标签：

• stable-diffusion
• 文本生成图像

奥术扩散模型

这是基于电视剧《奥术》画面微调训练的Stable Diffusion模型。
在提示词中使用 arcane style 标签即可触发特效。

如果您喜欢我的作品，请考虑支持我

🧨 Diffusers库使用

本模型与常规Stable Diffusion模型用法相同。更多信息请参阅
Stable Diffusion文档。

您还可将模型导出为ONNX、MPS或FLAX/JAX格式。

#!pip install diffusers transformers scipy torch
from diffusers import StableDiffusionPipeline
import torch

model_id = "nitrosocke/Arcane-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "arcane style, 金发魔法公主"
image = pipe(prompt).images[0]

image.save("./magical_princess.png")

Gradio交互界面 & Colab

我们同时提供基于Diffusers的Gradio网页界面和Colab笔记本，用于运行微调后的Stable Diffusion模型：

V3版本生成样例：

模型生成样例：

训练用样本图像：

版本3 (arcane-diffusion-v3)：采用全新_训练文本编码器_配置，大幅提升模型质量和可控性。基于剧集中95张图像进行8000步训练。

版本2 (arcane-diffusion-v2)：使用基于diffusers的dreambooth训练框架，其先验保留损失机制更为高效。通过脚本将diffusers模型转换为ckpt格式以兼容automatic仓库。为与v1直接对比采用5千步训练，结果表明需要更多训练步数才能获得显著效果。版本3将测试11千步训练效果。

版本1 (arcane-diffusion-5k)：采用_非冻结模型文本反演_技术和_先验保留损失训练_方法。即使不使用arcane标签，输出仍会呈现轻微风格倾向。