---

许可证：其他 许可证名称：NVIDIA开放模型许可证 许可证链接：https://www.nvidia.com/en-us/agreements/enterprise-software/nvidia-open-model-license 库名称：cosmos 标签：

• NVIDIA
• NeMo
• cosmos
• diffusers 额外授权提示：

NVIDIA开放模型许可协议

版本发布日期：2025年1月6日

本NVIDIA开放模型许可协议（以下简称"协议"）是您所代表的法人实体（如未指定实体则为个人）与NVIDIA公司及其关联公司（以下简称"NVIDIA"）之间的法律协议，规范您根据本协议使用NVIDIA提供的模型。NVIDIA与您各自称为"一方"，合称"双方"。

根据本协议发布的NVIDIA模型旨在允许自由使用并促进AI技术的进一步发展。在遵守本协议条款的前提下，NVIDIA确认：

• 模型可用于商业用途
• 您可自由创建和分发衍生模型
• NVIDIA不对使用模型或模型衍生物生成的任何输出主张所有权

通过使用、复制、修改、分发、表演或展示模型或其衍生模型的任何部分，或以其他方式接受本协议条款，即表示您同意受本协议约束。

1. 定义

本协议适用以下定义：

1.1 "NVIDIA Cosmos模型"指根据本协议共享的多模态模型。

1.2 "衍生模型"包括：(a)对模型的所有修改；(b)基于模型创作的作品；(c)模型的其他衍生作品。输出内容不属于衍生模型。

1.3 "法人实体"指行为实体与其所有控制、受控或共同控制的实体联合体。"控制"指(a)直接或间接指导或管理实体的权力；(b)50%以上流通股所有权；(c)实体受益所有权。

1.4 "模型"指根据本协议共享的机器学习模型、软件、检查点、学习权重、算法、参数、配置文件及文档。

1.5 "您"指行使本协议授予权限的个人或法人实体。

2. 使用条件、许可授予、AI伦理与知识产权

2.1 使用条件。模型及衍生模型使用需遵守本协议第2-3节条款。若您对任何实体提起版权或专利诉讼（包括诉讼中的交叉索赔或反诉），主张模型或衍生模型构成直接或间接侵权，则相关许可自诉讼提起之日起终止。若您规避模型中的技术限制、安全护栏或相关参数、加密、数字版权管理等机制，本协议授予的权利将自动终止。NVIDIA可随时更新协议以符合法规要求，您需遵守更新条款或停止使用模型。

2.2 许可授予。本协议授予全球性、非独占、免费、可撤销的永久许可，允许公开表演、展示、复制、使用、创作衍生作品、制造、销售、分销及进口模型。

2.3 AI伦理。模型使用需符合NVIDIA可信AI条款：https://www.nvidia.com/en-us/agreements/trustworthy-ai/terms/

2.4 NVIDIA保留模型及其衍生模型的所有权。在不影响NVIDIA所有权前提下，您拥有自创衍生模型的所有权。NVIDIA不对输出内容主张权利，您需对输出及其使用负责。除本协议明示授权外，(a)NVIDIA保留模型所有相关权利；(b)不通过默示或其他方式授予额外许可。

3. 再分发

您可通过任何媒介分发模型或其衍生模型，需满足：

3.1 分发模型时须向接收方提供本协议副本，并在随附文本文件中注明："根据NVIDIA开放模型许可证由NVIDIA Corporation授权"；

3.2 分发NVIDIA Cosmos模型或相关产品/服务时，须在相关网站/界面标注"基于NVIDIA Cosmos构建"；

3.3 可对修改内容添加自有版权声明，并设定不同的使用条款，前提是整体使用符合本协议。

4. 商标

除合理描述模型来源外，本协议不授予使用NVIDIA商标的权利。

5. 免责声明

除非法律要求或书面约定，模型按"原样"提供，不附带任何明示或默示担保，包括但不限于适销性、特定用途适用性担保。您需自行评估使用风险。

6. 责任限制

无论基于侵权（包括过失）、合同或其他法律理论，除非法律要求故意或重大过失行为，NVIDIA均不对因本协议或模型使用导致的任何直接、间接、附带、后果性损害承担责任，包括商誉损失、停工、计算机故障等商业损害，即使已被告知可能发生此类损害。

7. 赔偿

您应赔偿NVIDIA因使用或分发模型、衍生模型或输出内容导致的第三方索赔。

8. 反馈

NVIDIA可无限制使用您的反馈且无需补偿。

9. 适用法律

本协议受美国特拉华州法律管辖，排除冲突法原则及《联合国国际货物销售合同公约》。争议由加州圣克拉拉郡法院专属管辖，双方不可撤销接受该管辖；但任何一方可在任何司法管辖区申请禁令救济。

10. 贸易合规

您同意遵守所有适用的进出口、经济制裁法规，包括美国出口管理条例和外国资产管制条例。

额外授权字段： 勾选即表示接受协议条款，确认已成年且有权在模型使用国接受本协议。

额外授权说明： 信息收集将遵循NVIDIA隐私政策。

提交按钮：提交 任务标签：文本生成视频

Cosmos-1.0-Diffusion：基于扩散的世界基础模型套件

Cosmos | 代码 | 论文 | 论文网站

模型概览

描述：

Cosmos世界基础模型：专为生成物理感知视频和物理AI开发而设计的高性能预训练世界基础模型系列。

Cosmos扩散模型是基于扩散架构的世界基础模型集合，能够根据文本、图像或视频输入生成动态高质量视频。作为世界生成相关应用和研究的基石，该模型可根据NVIDIA开放模型许可协议商用。

模型开发者：NVIDIA

版本信息

Cosmos 1.0版本包含以下模型：

• Cosmos-1.0-Diffusion-7B-文本生成世界
  • 根据文本描述生成121帧视频
• Cosmos-1.0-Diffusion-14B-文本生成世界
  • 根据文本描述生成121帧视频
• Cosmos-1.0-Diffusion-7B-视频生成世界
  • 根据文本描述和首帧图像预测后续120帧
• Cosmos-1.0-Diffusion-14B-视频生成世界
  • 根据文本描述和首帧图像预测后续120帧

许可：

本模型基于NVIDIA开放模型许可证发布。定制许可请联系cosmos-license@nvidia.com。

根据该许可，NVIDIA确认：

• 模型可商用
• 可自由创建和分发衍生模型
• NVIDIA不对模型输出主张所有权

重要提示：若规避模型中的技术限制、安全护栏或相关参数、加密、数字版权管理等机制，NVIDIA开放模型许可协议授予的权利将自动终止。

• Cosmos-1.0-安全护栏为本模型的安全组件。

架构设计

Cosmos-1.0-Diffusion-7B-文本生成世界是潜在空间视频去噪的扩散Transformer模型。网络由交错的自注意力、交叉注意力和前馈层构成，交叉注意力层使模型能在去噪过程中持续关注输入文本。每层前应用自适应层归一化嵌入时间信息。当提供图像/视频输入时，其潜在帧会沿时间维度与生成帧拼接，并添加噪声以弥合训练与推理差距。

输入输出规范

• 输入

  • 类型：文本
  • 格式：字符串
  • 参数：一维
  • 其他要求：
    • 输入应少于300词，需包含场景描述、关键对象/角色、背景及5秒内需呈现的特定动作

• 输出

  • 类型：视频
  • 格式：mp4
  • 参数：三维
  • 特性：默认生成5秒1280x704分辨率24fps视频，可配置多种宽高比（1:1/4:3/16:9等）及12-40fps帧率

软件集成

运行环境：

• Cosmos
• Diffusers

兼容硬件架构：

• NVIDIA Blackwell
• NVIDIA Hopper
• NVIDIA Ampere

注意：仅测试过BF16精度推理

操作系统：

• Linux（未测试其他系统）

使用方法

• 详见Cosmos

也可通过Diffusers使用：

import torch
from diffusers import CosmosTextToWorldPipeline
from diffusers.utils import export_to_video

model_id = "nvidia/Cosmos-1.0-Diffusion-7B-Text2World"
pipe = CosmosTextToWorldPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16)
pipe.to("cuda")

prompt = "描述文本..."
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4", fps=30)

更多用法参见diffusers文档。

评估

详见我们技术论文。

推理耗时与显存占用

（数值因系统配置而异，仅供参考）

针对不同显存容量GPU提供多级模型卸载策略：

卸载策略	7B文本生成世界	14B文本生成世界
卸载提示上采样器	74.0 GB	>80.0 GB
卸载提示上采样器+安全护栏	57.1 GB	70.5 GB
额外卸载T5编码器	38.5 GB	51.9 GB
额外卸载分词器	38.3 GB	51.7 GB
额外卸载扩散模型	24.4 GB	39.0 GB

单H100 GPU端到端推理耗时（不含初始化）：

7B模型（卸载提示上采样器）	14B模型（卸载提示上采样器+安全护栏）
~380秒	~590秒

伦理考量

NVIDIA认为可信AI是共同责任。下载或使用时，开发者应确保模型符合行业要求并防范潜在滥用。安全漏洞请此处报告。

承诺声明

本模型及数据已：

• 验证符合现行披露法规
• 标注数据来源（NVIDIA或第三方）
• 评估技术限制
• 审核披露合规性
• 标记已知风险

偏见

字段	说明
受保护群体参与考量	无
减轻偏见措施	无

可解释性

字段	说明
应用领域	世界生成
模型类型	Transformer
目标用户	物理AI开发者
输出	视频
工作原理	基于视频输入生成视频
技术限制	可能无法精确遵循输入
质量验证	符合NVIDIA标准
性能指标	定量与定性评估
已知风险	可能生成不当内容
许可类型	NVIDIA开放模型许可证

隐私

字段	说明
可生成个人身份信息	未知
使用受保护类别数据	未知
数据主体同意	不适用
数据集审核频率	发布前
数据删除机制	不适用
数据最小化	不适用
数据溯源	完整
标注合规性	是

安全

字段	说明
模型应用	世界生成
关键影响	未知
使用限制	NVIDIA开放模型许可证
访问控制	遵循最小权限原则，训练数据受许可约束