语言:

• 英文 标签:
• 稳定扩散模型
• 文本生成图像 许可证: creativeml-openrail-m

尼奥宠物风格扩散模型（开发中，风格训练未完成）

基于runwayml/stable-diffusion-v1-5的稳定扩散模型，训练数据来源于https://www.neopets.com/funimages.phtml的GIF图像提取。采用CLIP ViT-B/32（OpenAI）筛选每对标题/GIF匹配度最高的帧，选取球面距离最小的帧进行训练。共收集约1950张100x100像素图像。DreamBooth模型在Colab T4上微调时，会在提示词中动态添加"低分辨率"术语以减轻最终结果的伪影问题（参考Discord社区关于训练文本反转时使用负面术语的讨论截图：https://cdn.discordapp.com/attachments/1008246088148463648/1041538692432527470/image.png）。

CLIP选取的GIF帧示例

标题	原始GIF	选定帧
"幼年尤布尔鼓掌"

训练详情

第一阶段（0-8千步）：前15%步数（1200步）以半精度同时训练文本编码器和UNet，后续仅训练UNet。采用2e-6初始学习率的多项式衰减（fast-DreamBooth默认值），1/3提示词追加"低质量"描述，448x448分辨率训练。

第二阶段（8k-16k步）：50%步数训练文本编码器，10%提示词随机追加"低质量"/"低分辨率"/"JPEG压缩"描述，1e-6初始学习率，384x384分辨率训练。

使用指南（基于openjourney）

安装依赖库

注意：当前模型需在配备NVIDIA CUDA显卡的计算机上运行

pip install diffusers transformers ftfy scipy accelerate

登录验证

使用huggingface-cli login命令登录

导入库

import torch
from torch import autocast
from diffusers.models import AutoencoderKL
from diffusers import StableDiffusionPipeline

创建管道

pipe = StableDiffusionPipeline.from_pretrained("doohickey/neopian-diffusion", use_auth_token=True)
pipe = pipe.to("cuda")

（可选）禁用NSFW过滤器

注意：不建议禁用，但因部分基础提示词可能误触发过滤，特此说明。请确保未成年用户和敏感群体的使用安全。

def dummy(images, **kwargs): 
	return images, False
			
pipe.safety_checker = dummy

图像生成

prompt = "我的提示词"

with autocast("cuda"):
  image = pipe(prompt=prompt, num_inference_steps=100, width=512, height=512, guidance_scale=15).images[0]
  
image.save("image.png")

尼奥宠物版权声明

"请注意：在非尼奥宠物网站使用这些图像时，必须包含我们的版权声明。" https://www.neopets.com/terms.phtml