许可证：openrail++ 缩略图：>- https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/images/thumbnail.png 标签：

• 文本到图像
• 稳定扩散
• 安全张量
• 扩散器 推理：true 小部件：
• 文本：>- 最佳质量，高质量，超高分辨率，1女孩 数据集：
• p1atdev/niji-v5 库名称：diffusers

更新历史

• 2023年8月14日

进一步精选了约1000张nijijourney的图片，挑选出具有良好动漫和插画风格的作品进行训练。

以下记录了具体操作，但不确定哪些因素起了关键作用。

以下是超参数设置，之后通过v11和sd-webui-supermerger进行层级融合（接近block_lr的比率效果较好），因此并非一次性完成。

最后使用blur约-0.05，以及通过LECO制作的anime以1的比例进行LoRA融合完成最终调整。

• 2023年8月11日

混合了之前nijijourney的图片，共12000张进行训练。

优化器使用Lion(4e-06, cosine, weight_decay=0.015, betas=.9,.999)。

• 2023年8月7日

使用约4500张nijijourney的图片进行了全微调。替换为fp16下不崩溃的VAE。

学习率1e-07过低，图片变化不明显。下次计划提高学习率。

• 2023年8月1日

使用约100张nijijourney的图片进行了LoRA微调等操作。

模型说明

这是一个偏向动漫风格的「SDXL(stable-diffusion-xl-base-1.0)」模型。内容基于「niji-v5」数据集进行LoRA微调后合并的模型。

使用示例

使用niji-diffusion-xl-base-1.0.safetensors和stable-diffusion-webui按以下参数生成图像。

※由于仅训练了约13000张~100张~图片，Prompt中写入多项内容会导致偏离niji风格。Negative prompt中写入多项内容似乎无碍。

Prompt:

杰作，最佳质量，高质量，超高分辨率，1女孩，花朵

Negative prompt:

最差质量，低质量，中等质量，已删除，低分辨率，漫画，解剖错误，手部错误，文字，错误，缺失手指，多余手指，手指不足，裁剪，JPEG伪影，签名，水印，用户名，模糊

PNG信息:

步数: 28, 采样器: Euler a, CFG比例: 7, 种子: 1, 尺寸: 1536x1024, 模型哈希: 791d0c791e, 模型: sd_xl_niji_1.0, Clip跳过: 2, ENSD: 31337, 令牌合并比例: 0.5, Eta: 0.67, 版本: v1.5.1

Prompt:

1女孩

Prompt:

1女孩，东京

Prompt:

1女孩，蒸汽朋克

Prompt:

1女孩，奇幻

模型制作方法

1. 参考「简单☆复印机学习法（初级篇）」，使用「模糊（blur）」进行LoRA DreamBooth训练，然后将该LoRA模型以负值合并到SDXL模型中。
2. 在步骤1制作的模型基础上，从niji-v5中精选100张背景和头发细节丰富的图片进行LoRA微调，然后将该LoRA模型合并到SDXL模型中。

未来模型改进

希望未来能作为LoRA模型发布。 因为使用512dim(rank)训练时，LoRA模型文件大小达到3GB，所以本次选择合并到SDXL模型中。

感想

调整过程困难重重，多次重试非常辛苦。计划后续制作教程视频。

致谢

衷心感谢所有模型、训练数据及训练工具的创建者和发布者。

使用库

• sd-scripts 4072f723c12822e2fa1b2e076cc1f90b8f4e30c9
• bitsandbytes 0.39.1
• Pytorch 2.0.0+cu117
• xformers 0.0.19

许可证

• CreativeML Open RAIL++-M License