语言: 英语
许可证: MIT
标签:

• 视觉
• 图像转文本
• 图像描述生成
• 视觉问答
  任务类型: 图像转文本
  推理: 禁用

BLIP-2，基于OPT-2.7b，在COCO数据集上微调

BLIP-2模型，利用了OPT-2.7b（一个拥有27亿参数的大型语言模型）。
该模型由Li等人在论文BLIP-2: 通过冻结图像编码器和大型语言模型引导语言-图像预训练中提出，并首次发布于此代码库。

免责声明：发布BLIP-2的团队未为此模型编写模型卡，因此本模型卡由Hugging Face团队撰写。

模型描述

BLIP-2包含3个模型：一个类似CLIP的图像编码器、一个查询转换器（Q-Former）和一个大型语言模型。

作者从预训练检查点初始化图像编码器和大型语言模型的权重，并保持其冻结状态，同时训练查询转换器。查询转换器是一个类似BERT的Transformer编码器，它将一组“查询令牌”映射为查询嵌入，从而弥合图像编码器和大型语言模型之间的嵌入空间差距。

模型的目标是简单地预测下一个文本令牌，给定查询嵌入和先前的文本。

这使得模型可用于以下任务：

• 图像描述生成
• 视觉问答（VQA）
• 通过将图像和先前的对话作为提示输入模型，实现类似聊天的对话

直接使用与下游应用

您可以将原始模型用于给定图像和可选文本的条件文本生成。请参阅模型中心以查找您感兴趣任务的微调版本。

偏见、风险、限制与伦理考量

BLIP2-OPT使用了现成的OPT作为语言模型。它继承了Meta模型卡中提到的相同风险和限制。

与其他大型语言模型一样，由于训练数据的多样性（或缺乏多样性）对模型质量产生下游影响，OPT-175B在偏见和安全性方面存在局限性。OPT-175B在生成多样性和幻觉方面也可能存在质量问题。总的来说，OPT-175B无法避免困扰现代大型语言模型的诸多问题。

BLIP2在从互联网收集的图像-文本数据集（如LAION）上进行了微调。因此，模型本身可能容易生成同等不适当的内容或复制底层数据中固有的偏见。

BLIP2尚未在现实世界应用中进行测试。不应直接部署于任何应用中。研究人员应首先仔细评估模型在特定部署环境中的安全性和公平性。

伦理考量

此版本仅用于支持学术论文的研究目的。我们的模型、数据集和代码并非专为所有下游用途设计或评估。我们强烈建议用户在部署此模型之前评估并解决与准确性、安全性和公平性相关的潜在问题。我们鼓励用户考虑AI的常见限制，遵守适用法律，并在选择用例时利用最佳实践，特别是对于错误或滥用可能显著影响人们生活、权利或安全的高风险场景。有关用例的进一步指导，请参阅我们的AUP和AI AUP。

使用方法

关于代码示例，请参阅文档。