许可协议: cc-by-nc-4.0 数据集:

• vidore/colpali_train_set
• tattrongvu/sharegpt4v_vqa_200k_batch1 语言:
• 英文
• 德文 基础模型:
• Qwen/Qwen2-VL-7B-Instruct 标签:
• vidore
• 多模态嵌入 库名称: peft 管道标签: 视觉文档检索

T-Systems ColQwen2-7B：基于Qwen2-VL-7B-Instruct并采用ColBERT策略的视觉检索模型

此为批量大小为8x64训练5轮次且更新了填充标记的基础版本

ColQwen是基于视觉语言模型（VLMs）的新型架构和训练策略的模型，旨在高效地从视觉特征索引文档。它是Qwen2-VL-2B的扩展，能生成ColBERT风格的多向量文本和图像表示。该模型在论文ColPali: Efficient Document Retrieval with Vision Language Models中首次提出，并在此代码库中发布。

此版本为未训练的基础版本，以确保投影层初始化的确定性。

版本特性

此模型接受动态图像分辨率输入且不调整其大小，保持ColPali中的原始宽高比。最大分辨率设置为最多生成768个图像块。实验表明，增加图像块数量能显著提升效果，但会提高内存需求。

此版本使用colpali-engine==0.3.4训练。

数据与论文中描述的ColPali数据相同，并额外使用ShareGPT4V（https://sharegpt4v.github.io/）数据集进行了微调。

模型训练

参数

我们使用低秩适配器（LoRA）训练模型，在语言模型的Transformer层及随机初始化的最终投影层上设置alpha=64和r=64，采用paged_adamw_8bit优化器。在8xH100 GPU上通过分布式数据并行（通过accelerate）训练，学习率为2e-4，线性衰减并包含1%的预热步数，每设备批量大小为64，使用bfloat16格式。

使用方法

确保安装colpali-engine（版本需≥0.3.4）且transformers版本>4.46.1。

pip install git+https://github.com/illuin-tech/colpali

import torch
from PIL import Image

from colpali_engine.models import ColQwen2, ColQwen2Processor

model = ColQwen2.from_pretrained(
        "tsystems/colqwen2-7b-v1.0",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # 或Apple Silicon设备使用"mps"
    ).eval()
processor = ColQwen2Processor.from_pretrained("tsystems/colqwen2-7b-v1.0")

# 输入示例
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "注意力机制真的就是全部所需吗？",
    "萨尔瓦多香蕉种植量是多少？",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向计算
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

局限性

• 专注领域：模型主要针对PDF类文档和高资源语言，可能对其他文档类型或低资源语言的泛化能力有限。
• 支持框架：模型依赖ColBERT后期交互机制衍生的多向量检索，需额外工程适配广泛使用的缺乏原生多向量支持的向量检索框架。

许可

ColQwen2的视觉语言主干模型（Qwen2-VL）采用apache2.0许可。此微调适配器遵循CC BY NC 4.0许可，因此当前仅限研究用途。

引用

若在研究中使用了本机构的模型，请按以下格式引用原始论文：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}