库名称: diffusers
许可证: cc-by-nc-sa-4.0
数据集:

• lodestones/e6-dump
  管道标签: 图像到图像

Furception v1.0，由Project RedRocket开发

这是一个VAE解码器的微调版本，基于stabilityai/sd-vae-ft-mse，并使用e621的图像进行训练。它采用了MAE和MSE损失的混合，以在清晰度和平滑输出之间保持可接受的平衡，并在Oklab色彩空间中计算损失，以优先考虑基于感知上更重要的颜色通道进行图像重建。

我们的测试表明，当用于训练在类似数据上的模型时，该VAE能够有效消除不必要的高频噪声。在纯色图像上的效果比在写实或绘画风格图像上更为明显，但我们没有在任何类型的图像上观察到明显的性能损失。在低分辨率生成的图像上效果更为显著，但在所有分辨率下都有改进。由于数据集中包含多种不同的艺术风格，该VAE可能对更广泛的艺术风格具有一定的泛化能力。

默认VAE (kl-f8)	Furception v1.0

注意，输出整体更平滑，高细节区域的边缘伪影显著减少。

许可:

该VAE遵循CC BY-NC-SA 4.0许可协议的条款。此许可仅适用于模型的使用、部署和模型权重的分发。该许可不适用于由此VAE解码的图像，只要您不将其用于商业目的，您可以以任何许可（包括公共领域）发布这些图像。您可以自由并鼓励将此VAE与模型一起分发，只要您注明出处且VAE携带此许可（模型的其他部分不需要共享此许可，但其分发必须是非商业性的），并且我们建议您包含版本号，以便人们知道未来是否需要获取更新版本。

训练细节:

整体训练方法与LDM基本相似。我们使用了与LDM和sd-vae-ft-mse中相同的MAE、MSE和LPIPS的相对基础权重（在LPIPS的情况下）。判别器在损失目标中的权重是动态设置的，使得判别器的梯度范数为重建损失的一半，这与LDM相同。我们使用了与LDM类似的判别器，但重新参数化为Wasserstein损失并带有梯度惩罚，同时将其组归一化层替换为层归一化。

版本1.0的训练使用了随机方形裁剪（带有抗锯齿的Lanczos缩放），并随机旋转和翻转。训练进行了150,000步，批量大小为32。EMA权重使用类似于sd-vae-ft-mse的衰减率（根据我们的批量大小调整）进行累积，并作为模型的发布版本。

致谢:

开发与研究由@drhead领导。

研究与开发协助由@RedHotTensors提供。

额外研究协助由@lodestones和Thessalo提供。

数据集整理由@lodestones和Bannanapuncakes完成，额外整理由@RedHotTensors提供。

感谢dogarrowtype提供的系统管理协助。

基于:

CompVis Latent Diffusion: https://github.com/CompVis/latent-diffusion/

StabilityAI sd-vae-ft-mse: https://huggingface.co/stabilityai/sd-vae-ft-mse

LPIPS by Richard Zhang, et al: https://github.com/richzhang/PerceptualSimilarity

OkLab by Björn Ottosson: https://bottosson.github.io/posts/oklab/

fine-tune-models by Jonathan Chang: https://github.com/cccntu/fine-tune-models/

构建于:

Flax by Google Brain: https://github.com/google/flax

Huggingface Diffusers: https://github.com/huggingface/diffusers

深深感谢无数艺术家将他们的作品公开发布，供我们在这个非商业研究项目中合理使用。