库名称: sana
标签:

• 文本生成图像
• Sana
• 基于1024px的图像尺寸
  语言:
• 英文
• 中文
  基础模型:
• Efficient-Large-Model/Sana_600M_1024px
  管道标签: 文本生成图像

             

🐱 Sana 模型卡片

模型

我们推出 Sana，一个文本生成图像框架，能够高效生成分辨率高达4096×4096的图像。
Sana能以极快的速度合成高分辨率、高质量的图像，并具有强大的文本-图像对齐能力，可在笔记本电脑GPU上部署。

源代码可在 https://github.com/NVlabs/Sana 获取。

模型描述

• 开发团队: NVIDIA, Sana
• 模型类型: 基于线性扩散变换器的文本生成图像生成模型
• 模型大小: 1648M参数
• 模型分辨率: 该模型开发用于生成基于1024px的多尺度高度和宽度图像。
• 许可证: NSCL v2-custom。管辖条款: NVIDIA许可证。附加信息: Gemma使用条款 | Google AI开发者适用于Gemma-2-2B-IT，Gemma禁止使用政策 | Google AI开发者。
• 模型描述: 这是一个可用于根据文本提示生成和修改图像的模型。
  它是一个线性扩散变换器，使用一个固定的预训练文本编码器(Gemma2-2B-IT)
  和一个32倍空间压缩的潜在特征编码器(DC-AE)。
• 更多信息资源: 查看我们的GitHub仓库和Sana在arXiv上的报告。

模型来源

出于研究目的，我们推荐我们的generative-models GitHub仓库(https://github.com/NVlabs/Sana)，
该仓库更适合训练和推理，并集成了Flow-DPM-Solver等最先进的扩散采样器。
MIT Han-Lab提供免费的Sana推理。

• 仓库: ttps://github.com/NVlabs/Sana
• 演示: https://nv-sana.mit.edu/

🧨 Diffusers

开发中的PR: Sana和DC-AE

用途

直接使用

该模型仅用于研究目的。可能的研究领域和任务包括

• 艺术作品的生成及在设计和其他艺术过程中的应用。

• 教育或创意工具中的应用。

• 生成模型的研究。

• 安全部署可能生成有害内容的模型。

• 探索和理解生成模型的局限性和偏见。

以下描述了排除的用途。

超出范围的使用

该模型未训练为对人物或事件的真实或准确表示，因此使用该模型生成此类内容超出了该模型的能力范围。

局限性和偏见

局限性

• 该模型无法实现完美的照片级真实感
• 该模型无法渲染复杂的可读文本
• 手指等细节通常可能无法正确生成。
• 模型的自动编码部分是有损的。

偏见

尽管图像生成模型的能力令人印象深刻，但它们也可能强化或加剧社会偏见。