🚀 MMDuet

MMDuet 是一款视频大语言模型（VideoLLM）的模型检查点，它能让你在视频播放时与之进行实时交互，为视频理解和交互带来了全新的体验。

🚀 快速开始

MMDuet 可助力你在视频播放过程中实现实时交互，为视频理解和分析提供强大支持。

📚 详细文档

模型详情

• 库名称：peft
• 基础模型：lmms-lab/llava-onevision-qwen2-7b-ov
• 数据集：wangyueqian/MMDuetIT
• 语言：英文
• 标签：llava-onevision、llava、多模态、在线视频理解、视频理解
• 任务类型：视频文本到文本

相关资源

• 论文：VideoLLM Knows When to Speak: Enhancing Time-Sensitive Video Comprehension with Video-Text Duet Interaction Format
• GitHub：MMDuet
• 视频演示：Youtube 和 Bilibili
• 数据：MMDuetIT

引用信息

如果您在研究中使用了本工作，请考虑引用以下内容：

@misc{wang2024mmduet,
      title={VideoLLM Knows When to Speak: Enhancing Time-Sensitive Video Comprehension with Video-Text Duet Interaction Format}, 
      author={Yueqian Wang and Xiaojun Meng and Yuxuan Wang and Jianxin Liang and Jiansheng Wei and Huishuai Zhang and Dongyan Zhao},
      year={2024},
      eprint={2411.17991},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.17991}, 
}

📄 许可证

本项目采用 MIT 许可证。