语言: 英文
许可证: MIT
标签:

• 视觉
• 图像转文本
• 图像描述生成
• 视觉问答
  任务类型: 图像转文本
  推理: 不支持

BLIP-2，基于Flan T5-xl架构，在COCO数据集上微调

BLIP-2模型采用了Flan T5-xl（一种大型语言模型）。该模型由Li等人在论文BLIP-2: 通过冻结图像编码器与大型语言模型实现语言-图像预训练引导中提出，并首次发布于此代码库。

免责声明：BLIP-2的研发团队未为此模型编写说明文档，本文档由Hugging Face团队撰写。

模型描述

BLIP-2包含三个组件：

1. 类CLIP的图像编码器
2. 查询变换器（Q-Former）
3. 大型语言模型

研究团队从预训练检查点初始化图像编码器和大型语言模型的权重并保持冻结，同时训练查询变换器。该变换器是一种类似BERT的编码器，将一组"查询标记"映射为查询嵌入，从而弥合图像编码器与大型语言模型之间的嵌入空间差异。

模型的核心目标是：在给定查询嵌入和先前文本的条件下，预测下一个文本标记。

这使得模型能够应用于以下任务：

• 图像描述生成
• 视觉问答（VQA）
• 通过将图像和对话历史作为提示输入，实现类聊天交互

直接使用与下游应用

您可将原始模型用于基于图像和可选文本的条件文本生成。访问模型中心寻找针对特定任务微调的版本。

偏差、风险与局限性

BLIP2-FlanT5直接采用现成的Flan-T5作为语言模型，继承了Flan-T5的固有风险：

根据Rae等人(2021)的研究，包括Flan-T5在内的语言模型可能被恶意用于文本生成。在未针对具体应用场景进行安全性和公平性评估前，不应直接使用Flan-T5。

BLIP2在互联网收集的图文数据集（如LAION）上微调，因此可能生成不当内容或反映底层数据的偏见。

该模型尚未在真实场景中测试，不应直接部署。研究人员需针对具体应用场景严格评估模型的安全性与公平性。

伦理考量

本版本仅限学术研究用途。我们的模型、数据集和代码并非为所有下游场景设计或评估。强烈建议用户在部署前评估准确性、安全性和公平性风险。鼓励用户考虑AI的普遍局限性，遵守适用法律，并为高风险场景制定最佳实践——尤其是可能严重影响人们生活、权利或安全的场景。使用案例指南请参阅我们的AUP和AI AUP政策。

使用方法

代码示例请参阅官方文档。