模型描述

此仓库包含针对StableDiffusion 3.5大模型的LoRA适配器，使用Diffusers + Dreambooth微调， 训练数据为从https://ghibli.jp手动下载并托管在alvarobartt/ghibli-characters的免费使用吉卜力工作室图像。

提示模板

您应使用以下模板（在标注图像时定义）来触发图像生成：

"吉卜力风格 [角色描述] 具有 [鲜明特征], [动作或姿势], [环境或背景], [光线或氛围], [额外细节]"

使用diffusers进行推理

[!注意] 需要diffusers 0.31.0或更高版本，参见发布说明。

import torch
from diffusers import DiffusionPipeline

model_id = "stabilityai/stable-diffusion-3.5-large"
adapter_id = "alvarobartt/ghibli-characters-sd3.5-lora"

pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16)
pipeline.load_lora_weights(adapter_id)
pipeline.to("cuda")

prompt = (
    "吉卜力风格未来主义冲锋队员，身着光滑白色盔甲和流线型头盔，"
    "英勇站立在茂密的外星行星上，周围绽放着鲜艳花朵，柔和"
    "阳光照亮场景，微风轻拂树叶"
)

image = pipeline(
    prompt=prompt,
    num_inference_steps=30,
    width=1024,
    height=768,
    guidance_scale=3.5,
).images[0]

image.save("ghibli.png", format="PNG")

免责声明

此微调模型仅供个人使用，不可用于商业目的，如许可证所述。

StableDiffusion 3.5大模型的微调遵循与StableDiffusion 3.5大模型相同的许可证，即https://huggingface.co/stabilityai/stable-diffusion-3.5-large/blob/main/LICENSE.md； 吉卜力工作室数据集基于其网站上的解释，采用自定义非商业许可证发布。