许可证：apache-2.0 支持语言：

• 中文
• 英文 基础模型：
• THUDM/glm-4-9b 任务类型：文生图 库名称：diffusers

CogView4-6B

🤗 空间 | 🌐 Github | 📜 CogView3 论文

推理要求与模型介绍

• 分辨率：宽高需在512px至2048px之间，能被32整除，且确保总像素不超过2^21像素
• 精度：BF16 / FP32（不支持FP16，会导致溢出生成全黑图像）

使用BF16精度和batchsize=4测试时，显存占用如下表所示：

快速开始

首先确保从源码安装diffusers库：

pip install git+https://github.com/huggingface/diffusers.git
cd diffusers
pip install -e .

然后运行以下代码：

from diffusers import CogView4Pipeline

pipe = CogView4Pipeline.from_pretrained("THUDM/CogView4-6B", torch_dtype=torch.bfloat16)

# 开启以下功能可降低显存占用
pipe.enable_model_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

prompt = "一辆鲜艳樱桃红的跑车在灿烂阳光下傲然矗立，抛光外表光滑无瑕，映出镜面般的倒影。车身采用低矮的空气动力学设计，棱角分明的头灯如捕食者眼睛般凝视前方，黑色高光赛车轮毂与红色车身形成鲜明对比。格栅和排气管点缀着若隐若现的镀铬装饰，而深色车窗暗示着豪华私密的内饰。整个场景传递着速度与优雅，仿佛这辆跑车即将沿着海岸公路飞驰，背景是碧蓝海浪拍岸的景象。"
image = pipe(
    prompt=prompt,
    guidance_scale=3.5,
    num_images_per_prompt=1,
    num_inference_steps=50,
    width=1024,
    height=1024,
).images[0]

image.save("cogview4.png")

模型指标

我们在多个基准测试中获得如下分数：

DPG评测

生成评估

文本图像合成评测

中文文本准确率评估

引用

🌟 如果您觉得我们的工作有帮助，请考虑引用论文并留下宝贵星标

@article{zheng2024cogview3,
  title={Cogview3: 通过接力扩散实现更精细快速的文生图},
  author={郑文迪 and 滕佳妍 and 杨卓艺 and 王伟晗 and 陈继东 and 顾晓涛 and 董禹潇 and 丁铭 and 唐杰},
  journal={arXiv预印本 arXiv:2403.05121},
  year={2024}
}

许可证

本模型基于Apache 2.0许可证发布。