许可证：apache-2.0
标签：

• 视频大语言模型

Tarsier 模型卡片

模型详情

模型类型：
Tarsier-34b 是一个开源的大规模视频语言模型，旨在生成高质量的视频描述，同时具备优秀的通用视频理解能力（在6个公开基准测试中取得SOTA结果）。

模型日期：
Tarsier-34b 训练于2024年6月。

论文或更多信息：

• GitHub仓库：https://github.com/bytedance/tarsier
• 论文链接：https://arxiv.org/abs/2407.00634

许可证

NousResearch/Nous-Hermes-2-Yi-34B 许可证。

提交问题或意见：
https://github.com/bytedance/tarsier/issues

预期用途

主要用途：
Tarsier 的主要用途是研究大型多模态模型，尤其是视频描述生成。

主要用户：
模型的主要目标用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

训练数据集

Tarsier 采用两阶段训练策略：

• 第一阶段：在1300万数据上进行多任务预训练
• 第二阶段：在50万数据上进行多粒度指令微调

两个阶段均冻结ViT参数，仅训练投影层和大语言模型的所有参数。

评估数据集

• 高难度视频描述数据集：DREAM-1K
• 多选视频问答：MVBench、NeXT-QA 和 Egoschema
• 开放式视频问答：MSVD-QA、MSR-VTT-QA、ActivityNet-QA 和 TGIF-QA
• 视频字幕生成：MSVD-Caption、MSRVTT-Caption、VATEX

使用方法

参见：https://github.com/bytedance/tarsier?tab=readme-ov-file#usage