🚀 NoobAI XL V-Pred 1.0

NoobAI XL V-Pred 1.0 是一款基于扩散模型的文本到图像生成模型。它以 Laxhar/noobai-XL_v1.0 为基础，利用了完整的 Danbooru 和 e621 数据集，能够根据输入的文本生成高质量的图像。

🚀 快速开始

使用方法

方法一：reForge

1. （若尚未安装 reForge）按照仓库中的说明安装 reForge。
2. 启动 WebUI，即可像往常一样使用该模型。

方法二：ComfyUI

可参考 comfy_ui_workflow_sample 进行操作。

方法三：WebUI

注意，开发分支可能不稳定，且可能包含错误。

1. （若尚未安装 WebUI）按照仓库中的说明安装 WebUI。
2. 切换到 dev 分支：

git switch dev

3. 拉取最新更新：

git pull

4. 启动 WebUI，即可像往常一样使用该模型。

方法四：Diffusers

import torch
from diffusers import StableDiffusionXLPipeline
from diffusers import EulerDiscreteScheduler

ckpt_path = "/path/to/model.safetensors"
pipe = StableDiffusionXLPipeline.from_single_file(
    ckpt_path,
    use_safetensors=True,
    torch_dtype=torch.float16,
)
scheduler_args = {"prediction_type": "v_prediction", "rescale_betas_zero_snr": True}
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, **scheduler_args)
pipe.enable_xformers_memory_efficient_attention()
pipe = pipe.to("cuda")

prompt = """masterpiece, best quality,artist:john_kafka,artist:nixeu,artist:quasarcake, chromatic aberration, film grain, horror \(theme\), limited palette, x-shaped pupils, high contrast, color contrast, cold colors, arlecchino \(genshin impact\), black theme,  gritty, graphite \(medium\)"""
negative_prompt = "nsfw, worst quality, old, early, low quality, lowres, signature, username, logo, bad hands, mutated hands, mammal, anthro, furry, ambiguous form, feral, semi-anthro"

image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=832,
    height=1216,
    num_inference_steps=28,
    guidance_scale=5,
    generator=torch.Generator().manual_seed(42),
).images[0]

image.save("output.png")

⚠️ 重要提示

请确保你的机器上已安装 Git 并正确配置了环境。

✨ 主要特性

• 基于完整的 Danbooru 和 e621 数据集进行训练，能够生成多样化的图像。
• 采用 v-prediction 模型，与传统的 eps-prediction 模型不同，需要特定的参数配置。
• 模型仓库上传了固定的调度器配置，无需特殊参数即可无缝执行推理。

📦 安装指南

使用不同工具安装和使用模型的步骤如下：

reForge

若尚未安装 reForge，需按照 reForge 仓库 中的说明进行安装。

WebUI

若尚未安装 WebUI，需按照 WebUI 仓库 中的说明进行安装，并切换到 dev 分支：

git switch dev
git pull

💻 使用示例

基础用法

使用 Diffusers 库调用模型的示例代码如下：

import torch
from diffusers import StableDiffusionXLPipeline
from diffusers import EulerDiscreteScheduler

ckpt_path = "/path/to/model.safetensors"
pipe = StableDiffusionXLPipeline.from_single_file(
    ckpt_path,
    use_safetensors=True,
    torch_dtype=torch.float16,
)
scheduler_args = {"prediction_type": "v_prediction", "rescale_betas_zero_snr": True}
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, **scheduler_args)
pipe.enable_xformers_memory_efficient_attention()
pipe = pipe.to("cuda")

prompt = """masterpiece, best quality,artist:john_kafka,artist:nixeu,artist:quasarcake, chromatic aberration, film grain, horror \(theme\), limited palette, x-shaped pupils, high contrast, color contrast, cold colors, arlecchino \(genshin impact\), black theme,  gritty, graphite \(medium\)"""
negative_prompt = "nsfw, worst quality, old, early, low quality, lowres, signature, username, logo, bad hands, mutated hands, mammal, anthro, furry, ambiguous form, feral, semi-anthro"

image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=832,
    height=1216,
    num_inference_steps=28,
    guidance_scale=5,
    generator=torch.Generator().manual_seed(42),
).images[0]

image.save("output.png")

📚 详细文档

模型详情

推荐设置

参数

• CFG：4 ~ 5
• 步数：28 ~ 35
• 采样方法：Euler（⚠️ 其他采样器可能无法正常工作）
• 分辨率：总面积约为 1024x1024。建议选择：768x1344、832x1216、896x1152、1024x1024、1152x896、1216x832、1344x768

提示词

• 提示词前缀：

masterpiece, best quality, newest, absurdres, highres, safe,

• 负提示词：

nsfw, worst quality, old, early, low quality, lowres, signature, username, logo, bad hands, mutated hands, mammal, anthro, furry, ambiguous form, feral, semi-anthro

使用指南

标题

<1girl/1boy/1other/...>, <character>, <series>, <artists>, <special tags>, <general tags>, <other tags>

质量标签

美学标签

日期标签

数据集

• 截至训练日期（约 2024-10-23 之前）的最新 Danbooru 图像。
• Hugging Face 上的 e621-2024-webp-4Mpixel 数据集。

交流渠道

• QQ 群：
  • 875042008
  • 914818692
  • 635772191
• Discord：Laxhar Dream Lab SDXL NOOB

如何在 v-pred SDXL 模型上训练 LoRA

教程链接：https://civitai.com/articles/8723

实用工具

Laxhar Lab 正在为 NoobXL 训练专用的 ControlNet 模型，并逐步发布。目前，已发布了 normal、depth 和 canny 模型。 模型链接：https://civitai.com/models/929685

🔧 技术细节

本模型是一个 v-prediction 模型，与传统的 eps-prediction 模型不同，需要特定的参数配置。它基于 Laxhar/noobai-XL_v1.0 进行微调，利用了完整的 Danbooru 和 e621 数据集，通过原生标签和自然语言字幕进行训练。

📄 许可证

本模型的许可证继承自 https://huggingface.co/OnomaAIResearch/Illustrious-xl-early-release-v0 的 fair-ai-public-license-1.0-sd，并添加了以下条款。任何使用本模型及其变体的行为均受此许可证约束。

I. 使用限制

• 禁止将模型用于有害、恶意或非法活动，包括但不限于骚扰、威胁和传播虚假信息。
• 禁止生成不道德或冒犯性的内容。
• 禁止违反用户所在司法管辖区的法律法规。

II. 商业禁止

禁止任何形式的商业化，包括但不限于对模型、衍生模型或模型生成的产品进行货币化或商业使用。

III. 开源社区

为了促进一个繁荣的开源社区，用户必须遵守以下要求：

• 开源基于本模型的衍生模型、合并模型、LoRA 和产品。
• 分享工作细节，如合成公式、提示词和工作流程。
• 遵循 fair-ai-public-license，确保衍生作品保持开源。

IV. 免责声明

生成的模型可能会产生意外或有害的输出。用户必须承担使用模型的所有风险和潜在后果。

参与者和贡献者

参与者

• L_A_X：Civitai | Liblib.art | Huggingface
• li_li：Civitai | Huggingface
• nebulae：Civitai | Huggingface
• Chenkin：Civitai | Huggingface
• Euge：Civitai | Huggingface | Github

贡献者

• Narugo1992：感谢 narugo1992 和 deepghs 团队开源各种训练集、图像处理工具和模型。
• Mikubill：感谢 Mikubill 提供的 Naifu 训练器。
• Onommai：感谢 OnommAI 开源强大的基础模型。
• V-Prediction：感谢以下人员提供的详细说明和实验：
  • adsfssdf
  • bluvoll
  • bvhari
  • catboxanon
  • parsee-mizuhashi
  • very-aesthetic
  • momoura
  • madmanfourohfour
  • David
• 社区：aria1th261、neggles、sdtana、chewing、irldoggo、reoe、kblueleaf、Yidhar、ageless、白玲可、Creeper、KaerMorh、吟游诗人、SeASnAkE、zwh20081、Wenaka⁧~喵、稀里哗啦、幸运二副、昨日の約、445、EBIX、Sopp、Y_X、Minthybasis、Rakosz