许可证: mit
库名称: colpali
基础模型: vidore/colqwen2.5-base
语言:

• en
  标签:
• colpali
• vidore
• vidore-experimental
  管道标签: visual-document-retrieval

ColQwen2.5：基于Qwen2.5-VL-3B-Instruct与ColBERT策略的视觉检索模型

ColQwen是一种基于新型模型架构和训练策略的视觉语言模型（VLM），旨在通过视觉特征高效索引文档。
该模型是Qwen2.5-VL-3B的扩展版本，能够生成文本和图像的ColBERT风格多向量表示。
其技术细节首次发表于论文ColPali: Efficient Document Retrieval with Vision Language Models，并在此代码库中开源。

版本特性

本模型支持动态输入图像分辨率且不改变宽高比（与ColPali一致）。最大分辨率限制为最多生成768个图像块。实验表明，增加图像块数量能显著提升效果，但会提高内存需求。

当前版本使用colpali-engine==0.3.7训练，训练数据与论文描述的ColPali数据集相同。

模型训练

数据集

我们的127,460组查询-页面训练数据包含：公开学术数据集训练集（63%）+ 网络爬取PDF文档经VLM（Claude-3 Sonnet）生成伪问题增强的合成数据（37%）。
训练集为纯英文设计，可研究其对非英语语言的零样本泛化能力。我们已确认ViDoRe评估集与训练集无重叠文档。
另设2%样本作为验证集用于超参数调优。

注：语言模型的预训练语料及多模态训练数据中可能包含多语言内容。

参数配置

所有模型均训练1个epoch。默认使用bfloat16格式，在语言模型的Transformer层和随机初始化的投影层应用LoRA适配器（alpha=32，r=32），采用paged_adamw_8bit优化器。
8 GPU数据并行训练，学习率5e-5（线性衰减+2.5%预热步长），批次大小32。

使用指南

需安装colpali-engine（版本>0.3.1）及transformers（版本>4.45.0）：

pip install git+https://github.com/illuin-tech/colpali

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model = ColQwen2_5.from_pretrained(
        "vidore/colqwen2.5-v0.1",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # Apple Silicon设备可改用"mps"
        attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
    ).eval()
processor = ColQwen2_5_Processor.from_pretrained("vidore/colqwen2.5-v0.1")

# 输入示例
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "注意力机制真的足够吗？",
    "萨尔瓦多的香蕉种植量是多少？",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向计算
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

局限性

• 适用范围：主要针对PDF类文档和高资源语言，对其他文档类型或低资源语言的泛化能力有限。
• 技术支持：依赖ColBERT的多向量检索机制，需适配现有向量检索框架（可能需额外开发）。

许可证

ColQwen2.5的视觉语言主干模型（Qwen2.5-VL）采用Qwen RESEARCH LICENSE AGREEMENT许可，适配器部分采用MIT许可。

联系方式

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

引用

若使用本组织模型或数据，请引用：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}