🚀 Flux-Sketch-Smudge-LoRA模型

Flux-Sketch-Smudge-LoRA是一个基于LoRA技术的文本到图像模型，可根据输入的文本描述生成各种风格的人物素描图像。它在特定的训练数据上进行了优化，能生成高质量且符合描述的图像。

🚀 快速开始

环境搭建

import torch
from pipelines import DiffusionPipeline

base_model = "black-forest-labs/FLUX.1-dev"
pipe = DiffusionPipeline.from_pretrained(base_model, torch_dtype=torch.bfloat16)

lora_repo = "strangerzonehf/Flux-Sketch-Smudge-LoRA"
trigger_word = "Sketch Smudge"  
pipe.load_lora_weights(lora_repo)

device = torch.device("cuda")
pipe.to(device)

触发词使用

你应该使用 Sketch Smudge 来触发图像生成。

模型下载

该模型的权重以Safetensors格式提供。 点击下载，可在文件与版本选项卡中找到。

✨ 主要特性

• 多样化风格：能够生成不同风格的人物素描，包括写实、抽象、卡通等。
• 精准生成：基于输入的文本描述，精确生成符合要求的图像。
• 高效推理：在推荐的推理步骤内，能快速生成高质量图像。

📦 安装指南

安装所需依赖：

import torch
from pipelines import DiffusionPipeline

加载基础模型和LoRA权重：

base_model = "black-forest-labs/FLUX.1-dev"
pipe = DiffusionPipeline.from_pretrained(base_model, torch_dtype=torch.bfloat16)

lora_repo = "strangerzonehf/Flux-Sketch-Smudge-LoRA"
trigger_word = "Sketch Smudge"  
pipe.load_lora_weights(lora_repo)

将模型移动到指定设备：

device = torch.device("cuda")
pipe.to(device)

💻 使用示例

基础用法

# 假设已经完成了上述的安装和加载步骤
prompt = "Sketch Smudge, A gray and white drawing of a womans head is depicted on a white canvas background."
image = pipe(prompt).images[0]
image.save("output.png")

高级用法

# 可以调整推理步骤和其他参数来优化生成效果
prompt = "Sketch Smudge, A detailed sketch of a womans face is drawn on a cream-colored canvas."
inference_steps = 35
image = pipe(prompt, num_inference_steps=inference_steps).images[0]
image.save("output_advanced.png")

📚 详细文档

图像处理参数

最佳尺寸与推理

推理范围

• 推荐推理步数：30–35

🔧 技术细节

该模型基于 black-forest-labs/FLUX.1-dev 基础模型，使用LoRA技术进行微调。训练数据采用了26张14位原始图像，并使用 florence2-en 进行自然语言和英文标注。在训练过程中，使用了特定的图像处理参数进行优化，以提高模型的性能和生成图像的质量。

📄 许可证

本模型遵循 creativeml-openrail-m 许可证。