---

语言:

• 英文 许可证: cc-by-nc-4.0 任务标签: 图像文本到文本

模型描述

xGen-MM-Vid (BLIP-3-Video) 是一款高效的紧凑型视觉语言模型（VLM），配备了显式的时间编码器，专为理解视频内容而设计。该模型由Salesforce AI Research开发。其关键特点是在原始（基于图像的）BLIP-3架构中融入了可学习的时间编码器模块。

在此，我们分享的是经过训练以处理8帧视频输入的128标记版本。理论上，它可以处理任意帧数的视频，但训练时使用的是8帧视频。

该模型的32标记版本可在以下链接找到：BLIP-3-Video 32标记模型。

更多详情，请参阅我们的技术报告。更详细的解释也可在博客文章中找到。

结果

标记数量与准确性

上图展示了包括xGen-MM-Vid (BLIP-3-Video)在内的多种视频模型在MSVD-QA数据集上的视觉标记数量与准确性的权衡关系。

示例

使用方法

请参考我们的推理脚本作为使用该模型的示例。此代码库基于xGen-MM。

偏见、风险、限制与伦理考量

主要数据来源包括互联网网页、视频素材网站以及研究社区发布的精选数据集。模型可能受到原始数据源的偏见影响，以及来自大型语言模型（LLMs）和商业API的偏见影响。我们强烈建议用户在下游应用前评估安全性和公平性。

许可证

我们的代码和权重采用CC by-NC 4.0许可证发布。

代码致谢

我们的代码/模型基于xGen-MM构建。

伦理考量

本次发布仅用于支持学术论文的研究目的。我们的模型、数据集和代码并非为所有下游用途专门设计或评估。我们强烈建议用户在部署前评估并解决可能涉及的准确性、安全性和公平性问题。我们鼓励用户考虑AI的普遍局限性，遵守适用法律，并在选择用例时采用最佳实践，特别是对于可能显著影响人们生活、权利或安全的高风险场景。关于用例的进一步指导，请参考我们的AUP和AI AUP。

引用

@misc{blip3video-xgenmmvid,
  author          = {Michael S. Ryoo and Honglu Zhou and Shrikant Kendre and Can Qin and Le Xue and Manli Shu and Silvio Savarese and Ran Xu and Caiming Xiong and Juan Carlos Niebles},
  title           = {xGen-MM-Vid (BLIP-3-Video): You Only Need 32 Tokens to Represent a Video Even in VLMs}, 
  year            = {2024},
  eprint          = {2410.16267},
  archivePrefix   = {arXiv},
  primaryClass    = {cs.CV},
  url             = {https://arxiv.org/abs/2410.16267}, 
}

故障排除

1. 如果缺少任何包，请考虑安装以下内容：

pip install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 --index-url https://download.pytorch.org/whl/cu121
pip install open_clip_torch==2.24.0
pip install einops
pip install einops-exts
pip install transformers==4.41.1