模型描述

这是weasley24/dnd-SDXL-LoRA针对stabilityai/stable-diffusion-xl-base-1.0的LoRA适配权重。

下载模型

可与AUTOMATIC1111、Comfy UI、SD.Next、Invoke等界面配合使用

• LoRA: 下载 dnd-SDXL-LoRA.safetensors 此处 💾。
  • 将其放入models/Lora文件夹。
  • 在AUTOMATIC1111中，通过在提示词中添加<lora:dnd-SDXL-LoRA:1>加载LoRA。在ComfyUI中只需作为常规LoRA加载。
• 嵌入向量: 下载 dnd-SDXL-LoRA_emb.safetensors 此处 💾。
  • 将其放入embeddings文件夹
  • 通过在提示词中添加dnd-SDXL-LoRA_emb使用。例如DND dnd-SDXL-LoRA_emb (需要同时使用LoRA和嵌入向量，因为它们是为该LoRA一起训练的)

与🧨 diffusers库配合使用

from diffusers import AutoPipelineForText2Image
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
        
pipeline = AutoPipelineForText2Image.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16).to('cuda')
pipeline.load_lora_weights('weasley24/dnd-SDXL-LoRA', weight_name='pytorch_lora_weights.safetensors')
embedding_path = hf_hub_download(repo_id='weasley24/dnd-SDXL-LoRA', filename='dnd-SDXL-LoRA_emb.safetensors', repo_type="model")
state_dict = load_file(embedding_path)
pipeline.load_textual_inversion(state_dict["clip_l"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder, tokenizer=pipeline.tokenizer)
pipeline.load_textual_inversion(state_dict["clip_g"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder_2, tokenizer=pipeline.tokenizer_2)
        
image = pipeline('DND <s0><s1> 艾兰多尔骑乘吉尔达,场景 <s0><s1>').images[0]

更多详情，包括权重调整、合并和融合LoRA，请参阅diffusers中加载LoRA的文档

触发词

要触发训练概念(或多个概念)的图像生成，请在提示词中用新插入的标记替换每个概念标识符:

触发概念TOK → 在提示词中使用<s0><s1>

详情

所有文件与版本。

权重使用🧨 diffusers高级Dreambooth训练脚本训练。

文本编码器的LoRA已启用: 否。

关键调优已启用: 是。

训练使用的特殊VAE: madebyollin/sdxl-vae-fp16-fix。