标签:

• stable-diffusion-xl
• stable-diffusion-xl-diffusers
• 文本生成图像
• diffusers
• lora
• 模板:sd-lora 微件:
• 文本: 夜晚街道上行走的女孩 输出: 链接: image-0.png
• 文本: 穿戴拳击装备的男子画作 输出: 链接: image-1.png
• 文本: 田野中仰望的老者 输出: 链接: image-2.png
• 文本: 手持气球升空的女性 输出: 链接: image-3.png
• 文本: 秋季街道行人画作 输出: 链接: image-4.png
• 文本: 阳台上坐着手捧盆栽的动漫少女 输出: 链接: image-5.png
• 文本: 佩戴拳击手套的男子画作 输出: 链接: image-6.png
• 文本: 空中跳跃的连衣裙女性素描 输出: 链接: image-7.png
• 文本: 灯光街道行走男子素描 输出: 链接: image-8.png
• 文本: 海滩漫步男子画作 输出: 链接: image-9.png
• 文本: 公园休憩人群画作 基础模型: stabilityai/stable-diffusion-xl-base-1.0 实例提示: 风格 许可证: openrail++

SDXL LoRA DreamBooth - op74185/水彩插画

<画廊 />

模型说明

此为stabilityai/stable-diffusion-xl-base-1.0的op74185/水彩插画LoRA适配权重。

模型下载

适用于AUTOMATIC1111/Comfy UI/SD.Next/Invoke等界面

• LoRA: 下载水彩插画.safetensors💾
  • 存放至models/Lora目录
  • AUTOMATIC1111用户通过在提示词中添加<lora:水彩插画:1>加载，ComfyUI用户参考常规LoRA加载方式
• 嵌入向量: 下载水彩插画_emb.safetensors💾
  • 存放至embeddings目录
  • 在提示词中添加水彩插画_emb调用，例如水彩插画_emb风格 (需同时使用LoRA和嵌入向量，因二者协同训练)

配合🧨 diffusers库使用

from diffusers import AutoPipelineForText2Image
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file

pipeline = AutoPipelineForText2Image.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16).to('cuda')
pipeline.load_lora_weights('op74185/watercolor-illustration', weight_name='pytorch_lora_weights.safetensors')
embedding_path = hf_hub_download(repo_id='op74185/watercolor-illustration', filename='watercolor-illustration_emb.safetensors', repo_type="model")
state_dict = load_file(embedding_path)
pipeline.load_textual_inversion(state_dict["clip_l"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder, tokenizer=pipeline.tokenizer)
pipeline.load_textual_inversion(state_dict["clip_g"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder_2, tokenizer=pipeline.tokenizer_2)

image = pipeline('以<s0><s1>风格').images[0]

更多细节（权重调整/合并/融合等）请参阅diffusers的LoRA加载文档

触发词

在提示词中使用新定义的标记来激活训练概念：

激活TOK概念 → 在提示词中使用<s0><s1>

技术细节

完整文件与版本

使用🧨 diffusers高级Dreambooth训练脚本训练

文本编码器LoRA启用状态：否

关键调优启用状态：是

训练使用特殊VAE：madebyollin/sdxl-vae-fp16-fix