许可证：apache-2.0
数据集：

• OpenGVLab/VideoChat2-IT
• Lin-Chen/ShareGPT4V
• liuhaotian/LLaVA-Instruct-150K
  语言：
• 英语
  评估指标：
• 准确率
  库名称：transformers
  流水线标签：视觉问答
  标签：
• 多模态大语言模型
• 大型视频语言模型

VideoLLaMA 2：推进视频大语言模型中的时空建模与音频理解

如果喜欢我们的项目，请在Github上给我们一个星标⭐以获取最新动态。

📰 新闻

• [2024.06.12] 发布VideoLLaMA 2的模型权重和技术报告初版。
• [2024.06.03] 发布VideoLLaMA 2的训练、评估和服务代码。

🌎 模型库

🚀 主要成果

多选视频问答与视频描述

开放式视频问答

🤖 使用VideoLLaMA2进行推理

import sys  
sys.path.append('./')  
from videollama2 import model_init, mm_infer  
from videollama2.utils import disable_torch_init  

def inference():  
    disable_torch_init()  

    # 视频推理  
    modal = 'video'  
    modal_path = 'assets/cat_and_chicken.mp4'   
    instruct = '视频中有哪些动物，它们在做什么，视频给人的感觉如何？'  

    # 图像推理  
    modal = 'image'  
    modal_path = 'assets/sora.png'  
    instruct = '图中的女性穿着什么，她在做什么，图像给人的感觉如何？'  

    model_path = 'DAMO-NLP-SG/VideoLLaMA2-8x7B'  
    model, processor, tokenizer = model_init(model_path)  
    output = mm_infer(processor[modal](modal_path), instruct, model=model, tokenizer=tokenizer, do_sample=False, modal=modal)  

    print(output)  

if __name__ == "__main__":  
    inference()  

引用

如果VideoLLaMA对您的研究或应用有所帮助，请使用以下BibTeX引用：

@article{damonlpsg2024videollama2,  
  title={VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs},  
  author={Cheng, Zesen and Leng, Sicong and Zhang, Hang and Xin, Yifei and Li, Xin and Chen, Guanzheng and Zhu, Yongxin and Zhang, Wenqi and Luo, Ziyang and Zhao, Deli and Bing, Lidong},  
  journal={arXiv preprint arXiv:2406.07476},  
  year={2024},  
  url = {https://arxiv.org/abs/2406.07476}  
}  
@article{damonlpsg2023videollama,  
  title = {Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding},  
  author = {Zhang, Hang and Li, Xin and Bing, Lidong},  
  journal = {arXiv preprint arXiv:2306.02858},  
  year = {2023},  
  url = {https://arxiv.org/abs/2306.02858}  
}