许可协议：apache-2.0
许可链接：LICENSE.md

支持语言：

• 英文

标签：

• 文本生成图像
• 图像生成
• cogview

推理支持：false

CogView3-Plus-3B

📄 中文文档 | 🤗 Hugging Face空间 | 🌐 代码仓库 | 📜 论文

📍 访问清言和API平台体验更大规模的商用视频生成模型。

推理要求与模型概览

本模型是CogView3的DiT版本，支持512至2048像素的文本生成图像功能。

• 分辨率：宽高需在512px至2048px范围内且能被32整除
• 推理速度：1秒/步（A100测试）
• 精度要求：BF16/FP32（不支持FP16，会导致溢出生成黑图）

显存占用

我们在A100设备上测试了常见分辨率下的显存消耗（batchsize=1, BF16），结果如下表：

快速开始

首先确保从源码安装diffusers库：

pip install git+https://github.com/huggingface/diffusers.git  

随后运行以下代码：

from diffusers import CogView3PlusPipeline  
import torch  

pipe = CogView3PlusPipeline.from_pretrained("THUDM/CogView3-Plus-3B", torch_dtype=torch.float16).to("cuda")  

# 启用以下功能可降低显存占用  
pipe.enable_model_cpu_offload()  
pipe.vae.enable_slicing()  
pipe.vae.enable_tiling()  

prompt = "一辆樱桃红色跑车在阳光下熠熠生辉，流线型车身光滑如镜，倒映着周围景象。低趴的空气动力学设计搭配棱角分明的车灯，黑色高光轮毂与红色车身形成强烈对比。镀铬格栅和排气管点缀其间，深色车窗暗示着豪华私密的内饰。整幅画面传递着速度与优雅，仿佛下一秒这辆跑车就会沿着海岸公路飞驰，背后是蔚蓝的海浪。"  
image = pipe(  
    prompt=prompt,  
    guidance_scale=7.0,  
    num_images_per_prompt=1,  
    num_inference_steps=50,  
    width=1024,  
    height=1024,  
).images[0]  

image.save("cogview3.png")  

更多内容及原始SAT权重下载，请访问我们的代码仓库。

引用

🌟 如果我们的工作对您有帮助，欢迎引用论文并点亮星星：

@article{zheng2024cogview3,  
  title={Cogview3: 通过接力扩散实现更精细快速的文本生成图像},  
  author={郑文迪 and 滕佳言 and 杨卓艺 and 王伟涵 and 陈继东 and 顾晓涛 and 董宇霄 and 丁铭 and 唐杰},  
  journal={arXiv预印本 arXiv:2403.05121},  
  year={2024}  
}  

模型许可

本模型基于Apache 2.0许可证发布。