许可证: mit
语言:

• 英语
  库名称: transformers
  管道标签: 图像转文本
  标签:
• 视频转文本
• 视频字幕生成
• 图像转文本
• 图像字幕生成
• 视觉问答
• blip-2

EILEV BLIP-2-OPT-2.7B 模型卡

基于 Salesforce/blip2-opt-2.7b 训练，采用 EILeV 创新训练方法——该方法无需海量自然视频数据集即可激发视觉语言模型（VLM）在视频中的上下文学习能力。

模型详情

模型描述

EILEV BLIP-2-OPT-2.7B 是针对第一人称视角视频优化的视觉语言模型，能够执行跨视频与文本的上下文学习。模型基于 Ego4D 数据集训练。

模型来源

• 代码库: https://github.com/yukw777/EILEV
• 论文: https://arxiv.org/abs/2311.17041
• 演示: https://2e09-141-212-106-177.ngrok-free.app

偏差、风险与局限性

本模型采用现成的 OPT 作为语言模型，继承了 Meta 模型卡中所述的风险与限制：

与其他因训练数据多样性不足而影响下游质量的大语言模型类似，OPT-175B 存在偏见与安全性局限，可能产生多样性不足或虚构内容等问题。总体而言，现代大语言模型的常见缺陷同样存在于 OPT-175B 中。

EILEV BLIP-2-OPT-2.7B 尚未在真实场景中测试，不应直接部署应用。研究人员需根据具体应用场景严格评估模型的安全性与公平性。

快速开始

请访问官方代码库: https://github.com/yukw777/EILEV