🚀 马赛克艺术模型

这是一个基于Stable Diffusion的模型，通过对马赛克艺术图片进行训练得到。它能够根据文本描述生成具有马赛克艺术风格的图像，在文本到图像、图像到图像的转换任务中表现出色。

🚀 快速开始

此模型的使用方式与其他Stable Diffusion模型相同。更多信息，请查看 Stable Diffusion。

你还可以将模型导出为 ONNX、MPS 和/或 FLAX/JAX 格式。

基础用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "Guizmus/MosaicArt"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "Mosaic Art dog on the moon"
image = pipe(prompt).images[0]

image.save("./MosaicArt.png")

✨ 主要特性

• 风格独特：基于马赛克艺术图片训练，生成具有独特马赛克风格的图像。
• 多版本可选：提供V1和V2两个版本，分别基于不同的基础模型训练。
• 易于使用：使用方式与其他Stable Diffusion模型相同，支持多种导出格式。

📦 安装指南

文档未提及具体安装步骤，可参考 Stable Diffusion 的安装说明。

📚 详细文档

模型详情

这是一个经过Dreamboothed处理的Stable Diffusion模型，在马赛克艺术图片上进行训练。

总数据集由46张图片组成。V2版本基于 Stable diffusion 2.1 768 进行训练。我使用 StableTuner 进行训练，对图片使用完整的描述，除主要概念外几乎没有重复的单词，因此无需额外的正则化。使用了6个epoch，每个epoch重复40次，学习率为1e - 6，并进行了先验保留。

V1版本基于 runawayml 1.5 和 新的VAE 进行训练。我使用 EveryDream 进行训练，对图片使用完整的描述，除主要概念外几乎没有重复的单词，因此无需额外的正则化。在e0到e11的epoch中，选择e8作为最佳风格应用，同时避免过拟合。先验保留效果良好。总共进行了9个epoch，每个epoch重复40次，学习率为1e - 6。

“Mosaic Art” 这个标记将引入新的概念，作为一种风格进行训练。

推荐的采样方法是k_Euler_a或DPM++ 2M Karras，步数为20，CFG值为7.5。

模型版本

模型V2

CKPT v2

YAML v2

模型V1

CKPT v1

带有ema权重的CKPT v1

数据集

📄 许可证

本模型使用的许可证为 creativeml-openrail-m。