语言: zh
许可证: creativeml-openrail-m

标签:

• stable-diffusion
• stable-diffusion-diffusers
• text-to-image
• zh
• 中文
• 动漫

推理: true
小部件:

• 文本: "1个女孩,绿色头发,毛衣,看向阅图者,上半身,帽子,户外,下雪,高领毛衣"
  示例标题: 1个女孩
• 文本: "1个男孩,上半身,看向阅图者,闭嘴,单人,金发,蓝天,白云"
  示例标题: 1个男孩
• 文本: "城市,风景,无人,蓝天,白云"
  示例标题: 城市
• 文本: "乡村,风景,无人,蓝天,白云"
  示例标题: 乡村

额外授权提示: |-
获取此模型前还需完成一步。
本模型采用CreativeML OpenRAIL-M许可证，面向所有人开放访问，进一步明确了权利与使用条款。
CreativeML OpenRAIL许可证规定:

1. 禁止利用模型故意生成或传播非法、有害内容
2. IDEA-CCNL对用户生成内容不主张任何权利，使用者可自由运用但须对使用行为负责，且不得违反许可证条款
3. 允许商用或作为服务重新分发模型权重，但须包含相同的使用限制条款，并向所有用户提供CreativeML OpenRAIL-M许可证副本（请完整仔细阅读许可证）
   完整许可证请见: https://huggingface.co/spaces/CompVis/stable-diffusion-license

点击下方"访问仓库"即表示同意您的联系信息（电子邮箱与用户名）可与模型作者共享。
额外授权字段:
我已阅读并同意许可证条款: 复选框

太乙-Stable-Diffusion-1B-中文-v0.1

• 主页:封神榜
• GitHub: 封神榜-LM

简介

首个开源的中文Stable Diffusion动漫模型，基于100万筛选过的动漫中文图文对训练。训练细节可见开源版二次元生成器！IDEA研究院封神榜团队发布第一个中文动漫Stable Diffusion模型，更多文生图案例参见太乙动漫绘画使用手册1.0

模型分类

模型信息

我们基于两份动漫数据集（100万低质量数据和1万高质量数据），在IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1模型上进行了两阶段微调训练，消耗4张A100显卡约100小时。当前版本为初步成果，我们将持续优化并开源后续模型，欢迎交流探讨。

效果展示

推荐使用超分辨率模型提升画质：

示例提示词：

1个女孩,绿眼,棒球帽,金色头发,闭嘴,帽子,看向阅图者,短发,简单背景,单人,上半身,T恤  
负面提示: 水彩,漫画,扫描件,简朴的画作,动画截图,3D,像素风,原画,草图,手绘,铅笔  
参数: 步数50,采样器Euler a,CFG比例7,种子3900970600,尺寸512x512  

原始生成图（512x512，318KB）：

使用webui的R-ESRGAN 4x+ Anime6B模型超分后获得2048x2048高清图（2.6MB），放大对比可见显著清晰度差异：

更多案例（均在webui环境生成）：

风格迁移示例

文生图示例

提示词1	提示词2
1个男生,帅气,微笑,看着阅图者,简单背景,白皙皮肤, 上半身,衬衫,短发,单人	1个女孩,绿色头发,毛衣,看向阅图者,上半身,帽子,户外,下雪,高领毛衣
户外,天空,云,蓝天,无人,多云的天空,风景,日出,草原	室内,杯子,书,无人,窗,床,椅子,桌子,瓶子,窗帘,阳光, 风景,盘子,木地板,书架,蜡烛,架子,书堆,绿植,梯子,地毯
户外,天空,水,树,无人,夜晚,建筑,风景,反射,灯笼,船舶, 建筑学,灯笼,船,反射水,东亚建筑	建筑,科幻,城市,城市风景,摩天大楼,赛博朋克,人群
无人,动物,(猫:1.5),高清,棕眼	无人,动物,(兔子:1.5),高清,棕眼

使用指南

webui配置

强烈推荐通过webui使用本模型，其可视化界面集成高级修图与超分功能。
太乙Stable Diffusion WebUI

FP16半精度推理（CUDA）

添加torch_dtype=torch.float16和device_map="auto"可加速加载FP16权重，详见优化文档。

# !pip install git+https://github.com/huggingface/accelerate  
import torch  
from diffusers import StableDiffusionPipeline  
torch.backends.cudnn.benchmark = True  
pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1", torch_dtype=torch.float16)  
pipe.to('cuda')  

prompt = '1个女孩,绿色头发,毛衣,看向阅图者,上半身,帽子,户外,下雪,高领毛衣'  
image = pipe(prompt, guidance_scale=7.5).images[0]   
image.save("1个女孩.png")  

使用手册

• 太乙手册
• 太乙绘画手册v1.1
• 太乙动漫手册v1.0

微调方法

微调代码

DreamBooth

DreamBooth代码

引用

若使用本模型，请引用我们的总论文：

@article{fengshenbang,  
  author    = {贾兴政等},  
  title     = {封神榜1.0：中国认知智能基础},  
  journal   = {CoRR},  
  volume    = {abs/2209.02970},  
  year      = {2022}  
}  

或引用项目网站：

@misc{Fengshenbang-LM,  
  title={封神榜-LM},  
  author={IDEA-CCNL},  
  year={2021},  
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},  
}