许可协议：creativeml-openrail-m
标签：

• 文本生成图像
• 稳定扩散模型
• 动漫
• AI艺术

本模型基于《ONIMAI: 我当妹妹那些事！》（お兄ちゃんはおしまい!）中的6(+1?)名角色训练而成

生成示例

更新日志 — 2023.02.19

在loras子文件夹中新增了两个使用相同数据集训练的LoRA检查点。首个检查点已可正常使用，但角色特征虽被学习，服装和画风却未能准确捕捉。该LoRA基于ACertainty模型训练，在Orange和Anything模型上表现良好，但在MyneFactoryBase等深度调优模型上效果欠佳。目前仍无法完全掌握LoRA参数的迁移规律。

该LoRA维度为32，alpha值为1，学习率设为1e-4。以下是生成示例：

注：如需复杂场景或更高还原度的画风/服装，仍建议使用完整模型。画风可通过模型融合调整。

使用说明

模型提供diffusers和safetensors两种格式。六名角色的触发词分别为：
OyamaMahiro（小山真寻）、OyamaMihari（小山美晴）、HozukiKaede（穗月枫）、HozukiMomiji（穗月红叶）、OkaAsahi（冈旭）、MurosakiMiyo（室崎美代）。
TenkawaNayuta（天河那由他）虽有标记，但因训练图少于10张，效果难以保证。
模型内置三种画风：aniscreen（动画截图风）、edstyle（ED风）、megazine（杂志风，命名有误但有效）。
支持多角色生成，但超过4名角色时效果下降。模型训练时采用clip skip 1设置。

以下为不同检查点的生成对比。默认使用step 22828版本，但checkpoints目录中从step 9969开始的所有版本均可使用。后期版本对megazine和edstyle画风优化更佳（可能存在过拟合风险）。

更多生成示例

（此处省略其余示例图描述，保持相同格式）

数据集说明

数据集通过此流程构建，包含21412张图像：

• 2133张ONIMAI相关图像：
  • 1496张动画前六集截图（aniscreen风格）
  • 70张动画ED截图（edstyle风格，不计入上述1496张）
  • 528张同人/官方图
  • 39张漫画封面扫描图（megazine风格）
• 19279张风格多样的动漫正则化图像（不含写实照片）

采用特定权重方案平衡不同概念，每epoch约训练145K张图像（经单图重复计算后）。

训练配置

使用EveryDream2训练器，以ACertainty为基底模型：

• 分辨率512
• 余弦学习率调度器，初始lr=2.5e-6
• 批量大小8
• 条件丢弃率0.08
• 将调度器config.json中的beta_scheduler从scaler_linear改为linear
• clip skip 1
  默认发布模型训练至22828步（约2个epoch）。