license: apache-2.0 language:

• zh
• en tags:
• text-to-image
• stable-diffusion
• kolors

可图(Kolors)：面向超写实文生图的扩散模型高效训练方案

     

📖 模型介绍

可图(Kolors)是快手可图团队自研的大规模文生图潜空间扩散模型。基于数十亿级图文对训练的可图模型，在生成图像视觉质量、复杂语义还原度、中英文字体渲染等方面均显著优于开源及闭源模型。此外，可图支持中英文输入，在中文特有内容的理解和生成方面表现优异。更多技术细节请参考本项目的技术报告。

🚀 快速体验

环境要求

• Python 3.8 或更高版本
• PyTorch 1.13.1 或更高版本
• Transformers 4.26.1 或更高版本
• 推荐使用 CUDA 11.7 或更高版本
  

1. 代码仓下载与依赖安装

apt-get install git-lfs
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

2. 权重下载（下载链接）：

huggingface-cli download --resume-download Kwai-Kolors/Kolors --local-dir weights/Kolors

或

git lfs clone https://huggingface.co/Kwai-Kolors/Kolors weights/Kolors

3. 推理：

python3 scripts/sample.py "一张瓢虫的照片，微距，变焦，高质量，电影，拿着一个牌子，写着“可图”"
# 生成图片将保存至"scripts/outputs/sample_test.jpg"

通过Diffusers调用

请参考 https://huggingface.co/Kwai-Kolors/Kolors-diffusers.

📜 许可协议及引用

许可协议

可图(Kolors)完全开源，仅供学术研究使用。如需商用，请填写本问卷并发送至kwai-kolors@kuaishou.com进行登记。

我们开源可图(Kolors)是为了与开源社区共同推动大文生图模型的发展。本项目的代码依照Apache-2.0协议开源，我们真诚地呼吁所有开发者和使用者共同遵守开源协议，切勿将开源模型、代码及基于其的衍生物用于任何危害国家与社会之用途或用于任何未经安全评估及备案的服务。需要注意的是，尽管我们在模型训练过程中尽力保证数据的合规性、正确性与安全性，但由于生成内容的多样性与组合性以及模型生成内容的概率随机性影响，我们无法保证输出内容的正确性与安全性，且模型易被误导。本项目不承担开源模型和代码导致的数据安全、舆情风险或因其被误导、滥用、误用、恶意利用而带来的任何风险与责任。

引用

如果您觉得我们的工作有帮助，请引用我们！

@article{kolors,
  title={Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis},
  author={Kolors Team},
  journal={arXiv preprint},
  year={2024}
}

致谢

• 感谢Diffusers提供的代码库。
• 感谢ChatGLM3提供强大的中文语言模型。
  

联系我们

如果您想给我们的研发团队和产品团队留言，欢迎加入我们的微信群。您也可以通过邮件联系我们(kwai-kolors@kuaishou.com)。