license: llama2

Tarsier 模型卡片

模型详情

模型类型:
Tarsier-7b 是 Tarsier 系列的一员——一个开源的大规模视频语言模型，旨在生成高质量的视频描述，同时具备优秀的通用视频理解能力（Tarsier-34b 在 6 个公开基准测试中取得了 SOTA 结果）。基础大语言模型：liuhaotian/llava-v1.6-vicuna-7b

模型训练时间:
Tarsier-7b 训练于 2024 年 6 月。

论文或更多信息参考:

• GitHub 仓库: https://github.com/bytedance/tarsier
• 论文链接: https://arxiv.org/abs/2407.00634

许可证

lmsys/vicuna-7b-v1.5 许可证。

模型问题或意见反馈渠道:
https://github.com/bytedance/tarsier/issues

预期用途

主要用途:
Tarsier 的主要用途是研究大型多模态模型，尤其是视频描述生成。

主要目标用户:
该模型的主要目标用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

训练数据集

Tarsier 采用两阶段训练策略：

• 第一阶段：在 1300 万数据上进行多任务预训练
• 第二阶段：在 50 万数据上进行多粒度指令微调

在这两个阶段中，我们冻结 ViT 并训练投影层和大语言模型的所有参数。

评估数据集

• 具有挑战性的视频描述数据集：DREAM-1K
• 多选视频问答：MVBench、NeXT-QA 和 Egoschema
• 开放式视频问答：MSVD-QA、MSR-VTT-QA、ActivityNet-QA 和 TGIF-QA
• 视频字幕生成：MSVD-Caption、MSRVTT-Caption、VATEX

使用方法

参见 https://github.com/bytedance/tarsier?tab=readme-ov-file#usage