许可证：creativeml-openrail-m
语言：中文
标签：

• 稳定扩散
• 中文稳定扩散
• 稳定扩散-扩散器
• 文本到图像
• 中文
  推理：支持
  小部件示例：
• 文本："小桥流水人家，梵高风格。"
  示例标题：小桥流水人家，梵高风格。
• 文本："小桥流水人家，水彩。"
  示例标题：小桥流水人家，水彩。
• 文本："吃过桥米线的猫。"
  示例标题：吃过桥米线的猫。
• 文本："穿着宇航服的哈士奇。"
  示例标题：穿着宇航服的哈士奇。

额外授权提示：
获取此模型前需完成一步确认。
本模型采用CreativeML OpenRAIL-M许可证，面向所有人开放访问，该许可证进一步明确了权利与使用条款：

1. 禁止利用模型故意生成或传播非法、有害内容
2. IDEA-CCNL对用户生成内容不主张任何权利，使用者需自行负责内容合规性，确保不违反许可证规定
3. 允许商用及作为服务重新分发模型权重，但须包含相同使用限制条款并向所有用户提供CreativeML OpenRAIL-M许可证副本（请完整仔细阅读许可证）
   完整许可证详见：https://huggingface.co/spaces/CompVis/stable-diffusion-license

点击下方"访问仓库"即表示同意您的联系方式（邮箱地址和用户名）可与模型作者共享。

额外授权确认项：
□ 我已阅读并同意许可证条款

太乙-稳定扩散-1B-中英双语-v0.1

• 主页：封神榜
• GitHub：封神榜-LM

Gradio演示

我们提供基于Gradio的Web界面来运行太乙-稳定扩散-1B-中英双语-v0.1：

模型简介

首个开源的中英双语Stable Diffusion模型，基于0.2亿筛选过的中文图文对训练。

模型分类

模型详情

我们采用Noah-Wukong(1亿数据)和Zero(2300万数据)作为预训练数据集，使用IDEA-CCNL/Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese计算图文相似度，筛选CLIP分数>0.2的图文对作为训练集。基于stable-diffusion-v1-4(论文)进行两阶段训练：

第一阶段：冻结除文本编码器外的所有组件，训练80小时（8×A100），实现中文概念对齐同时保留原模型生成能力。

第二阶段：解冻全部模型，联合训练文本编码器与扩散模型100小时（8×A100），优化中文引导适配性。

此为初始版本，我们将持续优化并开源更新，欢迎交流！

生成效果

小桥流水人家，梵高风格。

小桥流水人家，水彩。

吃过桥米线的猫。

穿着宇航服的哈士奇。

使用指南

全精度模式

from diffusers import StableDiffusionPipeline  

pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1").to("cuda")  

prompt = '小桥流水人家，梵高风格'  
image = pipe(prompt, guidance_scale=10).images[0]   
image.save("小桥.png")  

半精度FP16（CUDA加速）

添加torch_dtype=torch.float16可加速加载，更多优化详见文档。

# 需安装git+https://github.com/huggingface/accelerate  
from diffusers import StableDiffusionPipeline  
import torch  
torch.backends.cudnn.benchmark = True  
pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1", torch_dtype=torch.float16)  
pipe.to('cuda')  

prompt = '小桥流水人家，梵高风格'  
image = pipe(prompt, guidance_scale=10.0).images[0]   
image.save("小桥.png")  

微调方法

参考：
https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen/examples/finetune_taiyi_stable_diffusion

WebUI配置

参考：
https://github.com/IDEA-CCNL/stable-diffusion-webui/blob/master/README.md

DreamBooth训练

参考：
https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen/examples/stable_diffusion_dreambooth

引用文献

若使用本模型，请引用我们的总论文：

@article{fengshenbang,  
  author    = {贾兴政等},  
  title     = {封神榜1.0：中文认知智能基础体系},  
  journal   = {CoRR},  
  volume    = {abs/2209.02970},  
  year      = {2022}  
}  

或引用项目主页：

@misc{Fengshenbang-LM,  
  title={封神榜-LM},  
  author={IDEA-CCNL},  
  year={2021},  
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},  
}