许可证：creativeml-openrail-m
基础模型：runwayml/stable-diffusion-v1-5
标签：

• stable-diffusion
• stable-diffusion-diffusers
• text-to-image
• diffusers
  推理支持：true

LoRA文本到图像微调 - https://huggingface.co/pcuenq/pokemon-lora

此处提供的是基于https://huggingface.co/runwayml/stable-diffusion-v1-5训练的LoRA适配权重。权重在lambdalabs/pokemon-blip-captions数据集上进行了微调。

使用方法

以下脚本加载基础模型后应用LoRA权重并执行推理：

import torch  
from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler  
from huggingface_hub import model_info  

# LoRA权重约3MB  
model_path = "pcuenq/pokemon-lora"  

info = model_info(model_path)  
model_base = info.cardData["base_model"]  
pipe = StableDiffusionPipeline.from_pretrained(model_base, torch_dtype=torch.float16)  
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)  

pipe.unet.load_attn_procs(model_path)  
pipe.to("cuda")  

image = pipe("面露凶相的绿色宝可梦", num_inference_steps=25).images[0]  
image.save("green_pokemon.png")  

更多详情请参阅我们的博客文章或文档。

示例图像