数据集:

• nvidia/describe-anything-dataset 语言:
• 英文 基础模型:
• Efficient-Large-Model/VILA1.5-3b 任务标签: 图像文本到文本 许可证: 其他 许可证名称: NVIDIA非商业许可证 许可证链接: https://huggingface.co/nvidia/DAM-3B-Video/blob/main/LICENSE 库名称: describe-anything

描述万物：精细化局部图像与视频字幕生成

NVIDIA, 加州大学伯克利分校, 加州大学旧金山分校

连龙, 丁一凡, 葛云皓, 刘思飞, 毛涵梓, 李博一, Marco Pavone, 刘明宇, Trevor Darrell, Adam Yala, 崔寅

[论文] | [代码] | [项目主页] | [视频] | [HuggingFace演示] | [模型/基准/数据集] | [引用]

DAM-3B模型卡

描述

描述万物模型3B视频版(DAM-3B-Video)接收用户以点/框/涂鸦/掩码形式指定的图像/视频区域输入，生成精细化的局部描述。该模型通过创新的焦点提示机制和采用门控交叉注意力增强的局部视觉骨干网络，整合全图/视频上下文与细粒度局部细节。本模型仅限研发用途，允许非商业使用。

许可证

NVIDIA非商业许可证

预期用途

本模型旨在演示和促进描述万物模型的理解与使用，主要应用于科研和非商业目的。

模型架构

架构类型: Transformer
网络架构: ViT与Llama

本模型基于VILA-1.5开发
模型参数量达30亿

输入

输入类型: 图像、视频、文本、二值掩码
输入格式: RGB图像、RGB视频、二值掩码
输入参数: 二维图像、二维视频、二维二值掩码
其他输入特性: RGB图像3通道，RGB视频3通道，二值掩码1通道。分辨率384x384

输出

输出类型: 文本
输出格式: 字符串
输出参数: 一维文本
其他输出特性: 针对视觉区域的详细描述

支持的硬件微架构:

• NVIDIA安培架构
• NVIDIA霍珀架构
• NVIDIA洛芙莱斯架构

推荐/支持的操作系统:

• Linux

训练数据集

描述万物训练数据集

评估数据集

我们使用自建的精细化局部字幕基准进行评估：DLC-Bench

推理框架

PyTorch

伦理考量

NVIDIA认为可信AI是共同责任，我们已建立政策与实践来支持广泛AI应用开发。开发者下载或使用本模型时，应确保其符合相关行业要求并防范意外滥用。

请通过此链接报告安全隐患或AI伦理问题。

引用

如果您使用我们的工作成果或本仓库实现，请考虑引用：

@article{lian2025describe,
  title={描述万物：精细化局部图像与视频字幕生成}, 
  author={连龙 and 丁一凡 and 葛云皓 and 刘思飞 and 毛涵梓 and 李博一 and Marco Pavone and 刘明宇 and Trevor Darrell and Adam Yala and 崔寅},
  journal={arXiv预印本 arXiv:2504.16072},
  year={2025}
}