许可证：apache-2.0
数据集：

• OpenGVLab/VideoChat2-IT
• Lin-Chen/ShareGPT4V
• liuhaotian/LLaVA-Instruct-150K
  语言：
• 英语
  评估指标：
• 准确率
  库名称：transformers
  任务标签：视觉问答
  标签：
• 多模态大语言模型
• 大型视频语言模型

VideoLLaMA 2：提升视频大语言模型中的时空建模与音频理解能力

若喜欢我们的项目，请在GitHub上为我们点亮⭐以获取最新动态。

📰 最新动态

• [2024.06.12] 发布VideoLLaMA 2的模型权重与技术报告初版。
• [2024.06.03] 发布VideoLLaMA 2的训练、评估与服务代码。

🌎 模型库

🚀 主要成果

多选视频问答与视频描述生成

开放式视频问答

🤖 使用VideoLLaMA2进行推理

import sys  
sys.path.append('./')  
from videollama2 import model_init, mm_infer  
from videollama2.utils import disable_torch_init  

def inference():  
    disable_torch_init()  

    # 视频推理  
    modal = 'video'  
    modal_path = 'assets/cat_and_chicken.mp4'   
    instruct = '视频中有哪些动物？它们在做什么？视频给人什么感觉？'  

    # 图像推理  
    modal = 'image'  
    modal_path = 'assets/sora.png'  
    instruct = '图中的女性穿着什么？她在做什么？图像给人什么感觉？'  

    model_path = 'DAMO-NLP-SG/VideoLLaMA2-7B-16F-Base'  
    model, processor, tokenizer = model_init(model_path)  
    output = mm_infer(processor[modal](modal_path), instruct, model=model, tokenizer=tokenizer, do_sample=False, modal=modal)  

    print(output)  

if __name__ == "__main__":  
    inference()  

引用

若VideoLLaMA对您的研究或应用有所帮助，请使用以下BibTeX引用：

@article{damonlpsg2024videollama2,  
  title={VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs},  
  author={Cheng, Zesen and Leng, Sicong and Zhang, Hang and Xin, Yifei and Li, Xin and Chen, Guanzheng and Zhu, Yongxin and Zhang, Wenqi and Luo, Ziyang and Zhao, Deli and Bing, Lidong},  
  journal={arXiv preprint arXiv:2406.07476},  
  year={2024},  
  url = {https://arxiv.org/abs/2406.07476}  
}  

@article{damonlpsg2023videollama,  
  title = {Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding},  
  author = {Zhang, Hang and Li, Xin and Bing, Lidong},  
  journal = {arXiv preprint arXiv:2306.02858},  
  year = {2023},  
  url = {https://arxiv.org/abs/2306.02858}  
}