许可协议：mit
库名称：colpali
基础模型：vidore/colqwen2.5-base
语言：

• 英语
  标签：
• colpali
• vidore
• vidore-experimental
  管道标签：视觉文档检索

ColQwen2.5：基于Qwen2.5-VL-3B-Instruct与ColBERT策略的视觉检索模型

ColQwen是一种基于新型模型架构和训练策略的视觉语言模型（VLM），旨在通过视觉特征高效索引文档。
该模型是Qwen2.5-VL-3B的扩展版本，可生成文本和图像的ColBERT风格多向量表示。
其技术细节发表于论文ColPali：基于视觉语言模型的高效文档检索，并首发于该代码库

版本特性

本模型支持动态输入图像分辨率且不进行尺寸调整，与ColPali保持相同宽高比处理。
最大分辨率设定为最多生成768个图像块。实验表明增加图像块数量可显著提升效果，但会提高内存需求。

当前版本使用colpali-engine==0.3.7训练。
训练数据与论文描述的ColPali数据集相同。

模型训练

数据集

127,460组查询-页面训练数据包含：公开学术数据集训练集（63%）+ 网络爬取PDF文档经VLM（Claude-3 Sonnet）生成伪问题增强的合成数据（37%）。
训练集为纯英文构建，可研究零样本跨语言泛化能力。已确认ViDoRe评估集与训练集无多页PDF重复。
另设2%样本作为验证集调节超参数。

注：多语言数据可能存在于语言模型预训练语料及多模态训练中

参数配置

所有模型训练1个epoch。默认使用bfloat16格式，在语言模型Transformer层及随机初始化的投影层应用LoRA适配器（alpha=32，r=32），采用paged_adamw_8bit优化器。
8GPU数据并行环境下，学习率5e-5（含2.5%预热步数线性衰减），批量大小32。

使用指南

需安装colpali-engine（版本>0.3.1）及transformers（版本>4.45.0）。

pip install git+https://github.com/illuin-tech/colpali  

import torch  
from PIL import Image  
from transformers.utils.import_utils import is_flash_attn_2_available  

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor  

model = ColQwen2_5.from_pretrained(  
        "vidore/colqwen2.5-v0.2",  
        torch_dtype=torch.bfloat16,  
        device_map="cuda:0",  # Apple Silicon设备使用"mps"  
        attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,  
    ).eval()  
processor = ColQwen2_5_Processor.from_pretrained("vidore/colqwen2.5-v0.2")  

# 输入示例  
images = [  
    Image.new("RGB", (32, 32), color="white"),  
    Image.new("RGB", (16, 16), color="black"),  
]  
queries = [  
    "注意力机制真的足够吗？",  
    "萨尔瓦多香蕉种植量是多少？",  
]  

# 数据处理  
batch_images = processor.process_images(images).to(model.device)  
batch_queries = processor.process_queries(queries).to(model.device)  

# 前向计算  
with torch.no_grad():  
    image_embeddings = model(**batch_images)  
    query_embeddings = model(**batch_queries)  

scores = processor.score_multi_vector(query_embeddings, image_embeddings)  

局限性

• 适用范围：主要针对PDF类文档和高资源语言，对其他文档类型或低资源语言泛化能力有限。
• 技术支持：依赖ColBERT后期交互机制的多向量检索，需额外工程适配主流单向量检索框架。

许可声明

ColQwen2.5视觉语言主干模型（Qwen2.5-VL）遵循《Qwen研究许可协议》，适配器模块采用MIT许可。

联系方式

• Manuel Faysse：manuel.faysse@illuin.tech
• Hugues Sibille：hugues.sibille@illuin.tech
• Tony Wu：tony.wu@illuin.tech

引用规范

若使用本机构数据集或模型，请按以下格式引用：

@misc{faysse2024colpaliefficientdocumentretrieval,  
  title={ColPali：基于视觉语言模型的高效文档检索},  
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},  
  year={2024},  
  eprint={2407.01449},  
  archivePrefix={arXiv},  
  primaryClass={cs.IR},  
  url={https://arxiv.org/abs/2407.01449},  
}