许可证：apache-2.0
库名称：colpali
基础模型：vidore/colqwen2-base
语言：

• 英语
  标签：
• colpali
• vidore-experimental
• vidore
  管道标签：视觉文档检索

ColQwen2：基于Qwen2-VL-2B-Instruct与ColBERT策略的视觉检索模型

此为基础版本，采用256的批量大小（而非32）训练5个周期，并更新了填充标记

ColQwen2是一种基于新型模型架构和训练策略的视觉语言模型（VLM），用于高效索引文档的视觉特征。
该模型是Qwen2-VL-2B的扩展，能够生成文本和图像的ColBERT风格多向量表示。
其技术细节首次发表于论文ColPali：基于视觉语言模型的高效文档检索，并在此代码库中开源。

版本特性

本模型支持动态输入图像分辨率且不进行尺寸调整，与ColPali一样保持原始宽高比。
最大分辨率设定为最多生成768个图像块。实验表明，增加图像块数量能显著提升效果，但会提高内存需求。

此版本使用colpali-engine==0.3.1训练。
训练数据与论文描述的ColPali数据集相同。

模型训练

数据集

我们的127,460组查询-页面对训练集包含：

• 63%来自公开学术数据集的训练集
• 37%由网络爬取的PDF文档页面组成，并通过VLM（Claude-3 Sonnet）生成的伪问题增强

训练集全为英文设计，可研究其对非英语语言的零样本泛化能力。我们严格验证ViDoRe与训练集无重复多页PDF文档，避免评估污染。
另设2%样本作为验证集用于超参数调优。

注：多语言数据可能存在于语言模型的预训练语料和多模态训练中。

参数配置

所有模型在训练集上训练1个周期。默认使用bfloat16格式，在语言模型的Transformer层和随机初始化的投影层应用低秩适配器（LoRA），参数为alpha=32和r=32，优化器采用paged_adamw_8bit。

8GPU并行训练配置：

• 学习率5e-5
• 线性衰减（2.5%预热步长）
• 批量大小32

使用指南

需安装colpali-engine（版本≥0.3.4）和transformers（版本＞4.46.1）。

pip install git+https://github.com/illuin-tech/colpali  

import torch  
from PIL import Image  
from transformers.utils.import_utils import is_flash_attn_2_available  

from colpali_engine.models import ColQwen2, ColQwen2Processor  

# 加载模型  
model = ColQwen2.from_pretrained(  
    "vidore/colqwen2-v1.0",  
    torch_dtype=torch.bfloat16,  
    device_map="cuda:0",  # Apple芯片可用"mps"  
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,  
).eval()  
processor = ColQwen2Processor.from_pretrained("vidore/colqwen2-v1.0")  

# 准备输入  
images = [  
    Image.new("RGB", (128, 128), color="white"),  
    Image.new("RGB", (64, 32), color="black"),  
]  
queries = [  
    "注意力机制真的万能吗？",  
    "萨尔瓦多的香蕉种植量是多少？",  
]  

# 处理输入  
batch_images = processor.process_images(images).to(model.device)  
batch_queries = processor.process_queries(queries).to(model.device)  

# 前向计算  
with torch.no_grad():  
    image_embeddings = model(**batch_images)  
    query_embeddings = model(**batch_queries)  

# 计算相似度  
scores = processor.score_multi_vector(query_embeddings, image_embeddings)  

局限性

• 适用范围：主要针对PDF类文档和高资源语言，对其他文档类型或低资源语言的泛化能力有限。
• 技术支持：依赖ColBERT的多向量检索机制，需额外工程适配缺乏原生多向量支持的检索框架。

许可

ColQwen2的视觉语言主干模型（Qwen2-VL）采用apache2.0许可，适配器部分为MIT许可。

联系方式

• Manuel Faysse：manuel.faysse@illuin.tech
• Hugues Sibille：hugues.sibille@illuin.tech
• Tony Wu：tony.wu@illuin.tech

引用

若在研究中使用本机构模型或数据集，请引用：

@misc{faysse2024colpaliefficientdocumentretrieval,  
  title={ColPali：基于视觉语言模型的高效文档检索},  
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},  
  year={2024},  
  eprint={2407.01449},  
  archivePrefix={arXiv},  
  primaryClass={cs.IR},  
  url={https://arxiv.org/abs/2407.01449},  
}