缩略图: "https://huggingface.co/Hosioka/Baka-Diffusion/resolve/main/Images/Header.png"
语言:
- 英文
- 缅甸语
标签:
- 文本生成图像
- 稳定扩散模型
- 稳定扩散扩散器
- 扩散器
- 安全张量
推理: true
管道标签: 文本生成图像
库名称: diffusers
许可证: cc-by-nc-4.0
· 笨蛋扩散模型 ·
· 你好/Hello ·
笨蛋扩散模型是基于一系列微调/U-Net块合并的潜在扩散模型,旨在突破基于SD1.x模型的极限。我们的模型使用Danbooru标签系统
⚠️ 免责声明
您需对自己生成的内容负责,无论其是否包含NSFW或SFW内容。AI模型本身不包含可直接访问的显式视觉内容。
⚒️ 模型概要
由于U-Net块合并的特性,部分模型在CFG值范围内的表现存在差异。建议将本仓库中的模型CFG值控制在3-9之间。超出此范围虽可使用,但可能出现伪影、残留噪点或色彩过曝等问题。
笨蛋扩散模型[通用版]
通用版的开发理念是作为空白画布——不过度强调风格化,旨在兼容多数LoRA/LyCORIS模型,同时在连贯性上超越[S3D]。为此我运用了推理技巧并化身推理狂人,解决了长提示导致的生成过曝问题,CFG稳定性也显著提升。
笨蛋扩散模型[S3D]
S3D版致力于呈现细腻的3D质感与自然光影效果,突破常规动漫风格的光影表现。该版本专为高分辨率优化,推荐使用600x896而非传统的512x768。与LoRA/LyCORIS等低秩网络适配良好,兼具兼容性与灵活性。
负面提示词设置示例:(worst quality, low quality:1.2), lowres, bad anatomy,
🔧 推理技巧
若想成为像我这样的推理达人,你需要以下技巧!
"为何Hosioka推荐搭配文本反转使用?他傻吗?"
使用轻量级负面文本反转(如Aikimi的SimpleNegativeV1)能在保持风格的同时显著提升模型连贯性。特别感谢Aikimi!。
这是我的FreeU预设,可引导模型生成更具美感的图像,同时赋予模型ZeroTerminalSNR效果,使其能生成明暗对比更强烈的图像。
过渡平滑度可选项。
📝 发现与笔记
点击展开
在此架构下训练独立美学模型几乎不可能不牺牲解剖学质量。即使使用精心筛选的数据集,模型也不会收敛为高质量美学模型,而是会输出训练图像的平均效果——即便保持数据集一致性也无济于事。这或许是插画本身的特性使然。与只需高质量数据就能训练的真实系模型不同,追求美学表现的二次元模型训练简直是场噩梦。
我采用的解决方案不过是权宜之计:将解剖结构优秀的模型通过块合并融入训练好的美学模型。熟悉块加权合并的人都知道,即便了解U-Net各层功能,这类问题也极难修复——耗时费力还会让作者轻度自闭。即便如此,盲目合并(如多数模型作者所为)仍会导致整体连贯性下降。经测试,多数模型连基本表情都难以绘制。
关于训练工具:主流选择是Kohya或EveryDream2。根据使用经验,Kohya在全微调方面逊色,而EveryDream2表现更优。两者各有我期望整合的功能:EveryDream2支持冻结文本编码器层以保留父模型数据,Kohya则具备神经元丢弃功能——可强制X层学习Y层专长。简言之,二者各有所长。
例如当OUT5擅长面部学习而IN00表现欠佳时,网络丢弃能让OUT5暂时休息,迫使IN00专注掌握面部绘制。这种方式针对性地强化薄弱环节,同时暂停其他层学习以防过拟合。参见下方傻瓜式图示:
若需全微调推荐EveryDream2,开发低秩适配器则选Kohya。坦白说我只想把Kohya的功能整合进EveryDream2。感谢Freon和Kohya开发这些工具!
最后我决定暂停模型开发,休整几年等待开源扩散模型更成熟。期间仍会偶尔生成图像或开发低秩适配器。感谢使用笨蛋扩散模型!
🔗 鸣谢!
- 擦除技术 : https://github.com/rohitgandikota/erasing
- 实时块合并 : https://github.com/ashen-sensored/sd-webui-runtime-block-merge
- 超级合并器 : https://github.com/hako-mikan/sd-webui-supermerger
- KL-F8动漫VAE : https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt
- 简易负面提示 : https://civitai.com/models/87243?modelVersionId=92840
- (屏幕前的你)
📝 许可证
本项目采用CC BY-NC 4.0许可协议。
2021年的我只想生成些钻头双马尾少女...怎会走到今天这步...无论如何,希望各位喜欢我的作品。