许可证：apache-2.0
数据集：

• OpenGVLab/VideoChat2-IT
• Lin-Chen/ShareGPT4V
• liuhaotian/LLaVA-Instruct-150K
  语言：
• 英语
  评估指标：
• 准确率
  库名称：transformers
  管道标签：视觉问答
  标签：
• 多模态大语言模型
• 大型视频语言模型

VideoLLaMA 2：推进视频大语言模型中的时空建模与音频理解

如果喜欢我们的项目，请在Github上为我们点亮星标⭐以获取最新动态。

📰 最新动态

• [2024.10.15] 发布VideoLLaMA2.1-7B-16F-Base和VideoLLaMA2.1-7B-16F模型权重
• [2024.08.14] 发布VideoLLaMA2-72B-Base和VideoLLaMA2-72B模型权重
• [2024.07.30] 发布VideoLLaMA2-8x7B-Base和VideoLLaMA2-8x7B模型权重
• [2024.06.25] 🔥🔥 截至6月25日，我们的VideoLLaMA2-7B-16F在MLVU榜单上位列约7B规模视频大模型第一名
• [2024.06.18] 🔥🔥 截至6月18日，我们的VideoLLaMA2-7B-16F在VideoMME榜单上位列约7B规模视频大模型第一名
• [2024.06.17] 👋👋 更新技术报告，补充最新结果与遗漏文献。如有与VideoLLaMA 2密切相关的未引用工作，欢迎告知
• [2024.06.14] 🔥🔥 在线演示已开放
• [2024.06.03] 发布VideoLLaMA 2的训练、评估与服务代码

🌎 模型库

🚀 核心成果

多选视频问答与视频描述

开放式视频问答

🤖 使用VideoLLaMA2推理

import sys  
sys.path.append('./')  
from videollama2 import model_init, mm_infer  
from videollama2.utils import disable_torch_init  

def inference():  
    disable_torch_init()  

    # 视频推理  
    modal = 'video'  
    modal_path = 'assets/cat_and_chicken.mp4'   
    instruct = '视频中有哪些动物？它们在做什么？视频给人什么感觉？'  

    # 图像推理  
    modal = 'image'  
    modal_path = 'assets/sora.png'  
    instruct = '图中女性穿着什么？她在做什么？图像给人什么感觉？'  

    model_path = 'DAMO-NLP-SG/VideoLLaMA2-7B-16F'  
    model, processor, tokenizer = model_init(model_path)  
    output = mm_infer(processor[modal](modal_path), instruct, model=model, tokenizer=tokenizer, do_sample=False, modal=modal)  

    print(output)  

if __name__ == "__main__":  
    inference()  

引用

如果您认为VideoLLaMA对研究或应用有所帮助，请引用以下文献：

@article{damonlpsg2024videollama2,  
  title={VideoLLaMA 2：推进视频大语言模型中的时空建模与音频理解},  
  author={程泽森、冷思聪、张航、辛一飞、李鑫、陈冠正、朱永新、张文琪、罗子洋、赵德力、宾利东},  
  journal={arXiv预印本 arXiv:2406.07476},  
  year={2024},  
  url = {https://arxiv.org/abs/2406.07476}  
}  

@article{damonlpsg2023videollama,  
  title = {Video-LLaMA：面向视频理解的指令调优视听语言模型},  
  author = {张航、李鑫、宾利东},  
  journal = {arXiv预印本 arXiv:2306.02858},  
  year = {2023},  
  url = {https://arxiv.org/abs/2306.02858}  
}