Lora Kirchner Flux

由 davidrd123 开发

基于FLUX.1-dev的LoRA模型，专注于艺术风格图像生成，特别是黑白插画风格。

图像生成开源协议:Openrail #黑白插图生成 #FLUX.1微调 #艺术风格迁移

下载量 22

发布时间 : 8/12/2024

模型介绍

内容详情

替代品

模型简介

这是一个基于FLUX.1-dev的LoRA模型，专门用于生成具有特定艺术风格的图像，特别是黑白插画风格。模型经过训练可以生成具有Ernst Ludwig Kirchner风格的图像。

模型特点

艺术风格转换

能够将输入文本转换为具有Ernst Ludwig Kirchner风格的艺术图像

高分辨率输出

支持1024x1024高分辨率图像生成

LoRA微调

使用LoRA技术对基础模型进行微调，保留基础模型能力的同时增加特定风格

模型能力

文本生成图像

艺术风格转换

高分辨率图像生成

使用案例

数字艺术创作

黑白插画生成

生成具有特定艺术风格的黑白插画

示例图像展示了具有戏剧性构图和表现主义风格的黑白插画

场景再现

根据文本描述再现特定场景的艺术表现

示例包括奇幻厨房场景和巴黎街道场景的艺术再现

创意设计

概念艺术创作

为游戏、电影等媒体创作概念艺术

许可协议：creativeml-openrail-m
基础模型：black-forest-labs/FLUX.1-dev
标签：

稳定扩散
稳定扩散-扩散器
文本生成图像
扩散器
简单调谐器
LoRA
模板：sd-lora
推理：true
小部件：
文本：无条件（空白提示）
参数：
负面提示：模糊、裁剪、丑陋
输出：
URL：./assets/image_0_0.png
文本：
elk_style，奇幻厨房场景：头戴羽毛帽、围着条纹围巾、特征夸张的男子张开双臂站立，仿佛在宣告；一位穿着复古连衣裙和围裙的忧心忡忡的女子坐在桌旁，手持煎锅，周围摆满餐具和盘子，背景是砖墙、带窗帘的窗户以及铺有地毯的木地板。
输出：
URL：images/example_2wixkomof.png
文本：
elk_style，这幅画描绘了法国巴黎一条繁忙的街道场景。画作采用写实风格，笔触松散，色彩鲜明。画中一位女子走在街上，穿着蓝色裙子，头戴黑色高顶礼帽，帽顶有一颗红色绒球。她手里拿着一个白色盒子，似乎在低头看它。画的左侧有一根路灯柱，上面挂着“Cafe”的招牌。右侧是几栋建筑，装饰着华丽的建筑细节，包括一辆马车和一群走在人行道上的人。天空阴沉，地面湿润，暗示刚下过雨。
输出：
URL：images/example_8o7mwv5ph.png

LoRA-Kirchner-flux

这是基于black-forest-labs/FLUX.1-dev衍生的LoRA模型。

训练期间使用的主要验证提示为：

这是一幅黑白插图，画中一位长须及胸、白发苍苍的男子坐在地上，双臂高举过头顶。他似乎在冥想，双眼紧闭，面容安详。身后还有两名男子，一人仰卧，另一人躺在地上。背景是山景和阴云密布的天空。插图上方文字写道：“愿我出生的日子毁灭。他们与他一同在地上坐了七天七夜，无人对他说话，因为他们见他的痛苦极其重大。”插图周围装饰着边框。

验证设置

CFG：7.5
CFG重缩放：0.0
步数：20
采样器：None
种子：42
分辨率：1024

注：验证设置不一定与训练设置相同。

您可以在以下图库中找到一些示例图像：

文本编码器未经过训练。
您可以复用基础模型的文本编码器进行推理。

训练设置

训练周期：235
训练步数：4000
学习率：0.0001
有效批次大小：6
- 微批次大小：6
- 梯度累积步数：1
- GPU数量：1
预测类型：flow-matching
重缩放零SNR的betas：False
优化器：AdamW，随机bf16
精度：纯BF16
Xformers：未使用
LoRA秩：64
LoRA Alpha：None
LoRA丢弃率：0.1
LoRA初始化风格：默认

数据集

ErnstLudwigKirchner

重复次数：0
图像总数：102
宽高比分桶总数：1
分辨率：1024像素
裁剪：是
裁剪风格：居中
裁剪比例：正方形

推理

import torch  
from diffusers import DiffusionPipeline  

model_id = 'black-forest-labs/FLUX.1-dev'  
adapter_id = 'davidrd123/lora-Kirchner-flux'  
pipeline = DiffusionPipeline.from_pretrained(model_id)  
pipeline.load_lora_weights(adapter_id)  

prompt = "这是一幅黑白插图，画中一位长须及胸、白发苍苍的男子坐在地上，双臂高举过头顶。他似乎在冥想，双眼紧闭，面容安详。身后还有两名男子，一人仰卧，另一人躺在地上。背景是山景和阴云密布的天空。插图上方文字写道：“愿我出生的日子毁灭。他们与他一同在地上坐了七天七夜，无人对他说话，因为他们见他的痛苦极其重大。”插图周围装饰着边框。"  

pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu')  
image = pipeline(  
    prompt=prompt,  
    num_inference_steps=20,  
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(1641421826),  
    width=1024,  
    height=1024,  
    guidance_scale=7.5,  
).images[0]  
image.save("output.png", format="PNG")