🚀 Emi模型卡片

Emi（Ethereal master of illustration）是AI Picasso社利用最先进的开发器材H100和图像生成技术Stable Diffusion XL 1.0开发的一款专注于AI艺术的图像生成AI。该模型的一大特点是未使用Danbooru等平台上的未经授权转载图像进行训练。

🚀 快速开始

若要从本页面下载此模型，你需要提供在Hugging Face上注册的信息。所提供的信息将用于指导你如何使用图像生成AI。

你可以从这里使用演示。若要正式使用，可从这里下载模型。若普通版本生成效果不佳，可使用稳定版。

✨ 主要特性

• 合规训练数据：未使用Danbooru等平台上的未经授权转载图像进行训练。
• 商用许可：采用CreativeML Open RAIL++ - M License许可协议，支持商用。

📦 安装指南

ComfyUI或Fooocus

与Stable Diffusion XL 1.0的使用方法相同，请使用safetensor格式的模型文件。详细安装方法请参考这篇文章。

Diffusers

请使用🤗's Diffusers library。 首先，执行以下脚本安装库：

pip install invisible_watermark transformers accelerate safetensors　diffusers

然后，执行以下脚本生成图像：

from diffusers import StableDiffusionXLPipeline, EulerAncestralDiscreteScheduler
import torch

model_id = "aipicasso/emi"

scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionXLPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "1girl, sunflowers, brown bob hair, brown eyes, sky, transparent"
images = pipe(prompt, num_inference_steps=20).images
images[0].save("girl.png")

复杂操作请参考演示的源代码。

💻 使用示例

基础用法

from diffusers import StableDiffusionXLPipeline, EulerAncestralDiscreteScheduler
import torch

model_id = "aipicasso/emi"

scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionXLPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "1girl, sunflowers, brown bob hair, brown eyes, sky, transparent"
images = pipe(prompt, num_inference_steps=20).images
images[0].save("girl.png")

高级用法

# 若要生成更具特定风格的图像，可在提示词中添加特定描述
from diffusers import StableDiffusionXLPipeline, EulerAncestralDiscreteScheduler
import torch

model_id = "aipicasso/emi"

scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionXLPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "anime artwork, anime style, 1girl, sunflowers, brown bob hair, brown eyes, sky, transparent"
images = pipe(prompt, num_inference_steps=20).images
images[0].save("anime_girl.png")

简单作品示例

正向提示词：anime artwork, anime style, (1girl), (black bob hair:1.5), brown eyes, red maples, sky, ((transparent))
负向提示词：(embedding:unaestheticXLv31:0.5), photo, deformed, realism, disfigured, low contrast, bad hand

正向提示词：monochrome, black and white, (japanese manga), mount fuji
负向提示词：(embedding:unaestheticXLv31:0.5), photo, deformed, realism, disfigured, low contrast, bad hand

正向提示词：(1man), focus, white wavy short hair, blue eyes, black shirt, white background, simple background
负向提示词：(embedding:unaestheticXLv31:0.5), photo, deformed, realism, disfigured, low contrast, bad hand

使用FreeU节点或Web UI扩展功能，参数设置为b1 = 1.1, b2 = 1.2, s1 = 0.6, s2 = 0.4时的示例。报告

📚 详细文档

模型输出提升建议

• 若想确保生成动漫风格的插画，可在提示词开头添加“anime artwork, anime style”。
• 在提示词中加入“transparent”一词，可使生成的图像更具现代画风。
• 若绘制全身图像效果不佳，可尝试使用稳定版。
• 可用的提示词与Waifu Diffusion相同，也可按照Stable Diffusion的方式使用。
• 建议在负向提示词中使用Textual Inversion。
• 由于手部生成效果不稳定，建议与DreamShaper XL1.0等写实类模型进行合并。
• 使用ChatGPT优化提示词，可能会创作出超越自身水平的作品。
• 使用最新ComfyUI中的FreeU节点，或Web UI扩展功能，并设置参数b1 = 1.1, b2 = 1.2, s1 = 0.6, s2 = 0.4，可能会进一步提升输出效果。

模型预期用途

• 创作辅助：用于插画、漫画、动漫的创作辅助，无论商用或非商用均可。
• 沟通交流：在委托创作时，用于与创作者沟通。
• 商业服务：用于提供图像生成商业服务，但需注意对生成内容的处理。
• 自我表达：通过该AI展现个人特色。
• 研究开发：包括在Discord上使用模型进行提示词工程、微调（如DreamBooth等）、与其他模型合并；使用FID等评估模型性能；使用校验和或哈希函数检查模型与Stable Diffusion以外模型的独立性。
• 教育领域：用于美术院校学生、专科学校学生的毕业创作，大学生的毕业论文或课题作业，以及教师传授图像生成AI现状。
• Hugging Face社区用途：可使用日语或英语提问。

模型非预期用途

• 不应将生成的内容用于事实表述。
• 避免做出让教师困扰的行为。
• 不得对创作行业造成负面影响。

禁止使用或恶意用途

• 不得用于资金洗钱。
• 不得公开数字赝品（Digital Forgery），以免违反著作权法。
• 不得未经授权对他人作品进行Image - to - Image操作，以免违反著作权法。
• 不得传播淫秽物品，以免违反刑法175条。
• 不得传播不实信息，以免触犯威力业务妨害罪。

模型局限性和偏差

• 模型局限性：扩散模型和大规模语言模型仍有许多未知之处，其局限性尚未明确。
• 偏差：扩散模型和大规模语言模型仍有许多未知之处，偏差情况尚未明确。

训练相关

训练数据：

• 手动收集约2000张图像，这些图像是从与Stable Diffusion相同的数据集中去除Danbooru上的未经授权转载图像后得到的。
• 自动收集约50万张图像，同样是从与Stable Diffusion相同的数据集中去除Danbooru上的未经授权转载图像后得到的。

训练过程：

• 硬件：H100

评估结果

正在寻求第三方评估。

环境影响

• 硬件类型：H100
• 使用时间（单位：小时）：500
• 训练地点：日本

法律相关

本模型在日本创建，因此适用日本法律。本模型的训练基于著作权法第30条之4，主张合法。同时，本模型的分发在著作权法和刑法175条的框架下，主张不构成正犯或帮助犯。详情请参考柿沼律师的见解。但请按照许可证规定，依法处理本模型的生成内容。

联系信息

support@aipicasso.app

模型详细信息

@misc{podell2023sdxl,
      title={SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis}, 
      author={Dustin Podell and Zion English and Kyle Lacey and Andreas Blattmann and Tim Dockhorn and Jonas Müller and Joe Penna and Robin Rombach},
      year={2023},
      eprint={2307.01952},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

📄 许可证

本模型采用CreativeML Open RAIL++ - M License许可协议，因此可用于商业用途。做出此决定的原因如下：

• 随着图像生成AI的普及，越来越多的人开始遵守创作规范，以避免对创作行业造成负面影响。
• 鉴于其他图像生成AI已支持商用，非商用许可证的实际效力逐渐降低。