模型描述

这是inventwithdean/vangogh-SDXL-LoRA针对stabilityai/stable-diffusion-xl-base-1.0的LoRA适配权重。

下载模型

可与AUTOMATIC1111、Comfy UI、SD.Next、Invoke等界面一起使用

• LoRA: 下载 vangogh-SDXL-LoRA.safetensors 这里 💾。
  • 将其放在你的models/Lora文件夹中。
  • 在AUTOMATIC1111中，通过在提示中添加<lora:vangogh-SDXL-LoRA:1>来加载LoRA。在ComfyUI中只需像常规LoRA一样加载。
• 嵌入: 下载 vangogh-SDXL-LoRA_emb.safetensors 这里 💾。
  • 将其放在你的embeddings文件夹中
  • 通过在提示中添加vangogh-SDXL-LoRA_emb来使用。例如，一幅vangogh-SDXL-LoRA_emb风格的画作 （你需要同时使用LoRA和嵌入，因为它们是为这个LoRA一起训练的）

与🧨扩散器库一起使用

from diffusers import AutoPipelineForText2Image
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
        
pipeline = AutoPipelineForText2Image.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16).to('cuda')
pipeline.load_lora_weights('inventwithdean/vangogh-SDXL-LoRA', weight_name='pytorch_lora_weights.safetensors')
embedding_path = hf_hub_download(repo_id='inventwithdean/vangogh-SDXL-LoRA', filename='vangogh-SDXL-LoRA_emb.safetensors', repo_type="model")
state_dict = load_file(embedding_path)
pipeline.load_textual_inversion(state_dict["clip_l"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder, tokenizer=pipeline.tokenizer)
pipeline.load_textual_inversion(state_dict["clip_g"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder_2, tokenizer=pipeline.tokenizer_2)
        
image = pipeline('一幅<s0><s1>风格的画作，花盆中盛开着艳丽的红玫瑰，背景是蓝色的云彩').images[0]

更多详情，包括权重、合并和融合LoRAs，请查看在扩散器中加载LoRAs的文档

触发词

要触发训练概念（或概念）的图像生成，请在提示中用新插入的标记替换每个概念标识符：

触发概念TOK → 在提示中使用<s0><s1>

详情

所有文件与版本。

权重是使用🧨扩散器高级DreamBooth训练脚本训练的。

文本编码器的LoRA已启用。False。

启用了关键调谐：True。

训练使用的特殊VAE：madebyollin/sdxl-vae-fp16-fix。