库名称: sana
标签:

• 文本生成图像
• Sana
• 基于1024px的图像尺寸
• 多语言
  支持语言:
• 英文
• 中文
  基础模型:
• Efficient-Large-Model/Sana_1600M_1024px_MultiLing
  管道标签: 文本生成图像

             

模型卡片

我们推出Sana，一个高效的文本生成图像框架，能够生成分辨率高达4096×4096的图像。
Sana能以惊人的速度合成高分辨率、高质量且文本-图像对齐良好的图像，并可在笔记本电脑GPU上部署。

源代码可在 https://github.com/NVlabs/Sana 获取。

与基础模型对比

模型	示例-1	示例-2	示例-3	示例-4
Sana_1600M_1024px
Sana_1600M_1024px_MultiLing
提示词	🐯 穿着 👕 吹 🎷	猫 Wearing 🕶 flying on the 彩虹 with 🌹 in the ❄️	🦁 teaching 🐯 to catch 🦋	金色 🌅 下的长城, traditional Chinese style

模型描述

• 开发团队: NVIDIA, Sana
• 模型类型: 基于线性扩散Transformer的文本生成图像模型
• 模型参数量: 1648M
• 模型分辨率: 本模型专为生成基于1024px的多尺度宽高图像而开发。
• 许可证: NSCL v2-custom。管辖条款：NVIDIA许可证。附加信息：Gemma使用条款 | Google AI开发者适用于Gemma-2-2B-IT，Gemma禁止使用政策 | Google AI开发者。
• 模型说明: 这是一个基于文本提示生成和修改图像的模型。它采用线性扩散Transformer架构，使用一个固定的预训练文本编码器(Gemma2-2B-IT)和一个32倍空间压缩的潜在特征编码器(DC-AE)。
• 特点: 本模型基于Efficient-Large-Model/Sana_1600M_1024px微调，支持表情符号、中文、英文及混合提示词。
• 更多资源: 请访问我们的GitHub仓库和Sana arXiv报告。

模型来源

出于研究目的，我们推荐使用generative-models Github仓库(https://github.com/NVlabs/Sana)，该仓库更适合训练和推理，并集成了Flow-DPM-Solver等先进扩散采样器。MIT Han-Lab提供免费的Sana推理服务。

• 代码仓库: https://github.com/NVlabs/Sana
• 在线演示: https://nv-sana.mit.edu/

🧨 Diffusers

开发中的PR: Sana 和 DC-AE

用途

直接使用

本模型仅限研究用途，可能的研发领域包括：

• 艺术作品生成及在设计等创意流程中的应用
• 教育或创意工具开发
• 生成模型研究
• 具有潜在有害内容生成风险的模型安全部署
• 探索和理解生成模型的局限性与偏差

以下为排除用途说明。

非适用场景

本模型未经训练以生成人物或事件的真实表述，因此用于此类内容超出模型能力范围。

局限性与偏差

局限性

• 模型无法实现完美逼真度
• 无法渲染复杂的可读文本
• 通常无法正确生成手指等细节
• 模型的自动编码部分存在信息损失

偏差

尽管图像生成模型能力惊人，但它们也可能强化或加剧社会偏见。