许可协议：apache-2.0
库名称：colpali
基础模型：vidore/colqwen2-base
语言：

• 英语
  标签：
• colpali
• vidore-experimental
• vidore
  管道标签：视觉文档检索

BiQwen2：基于Qwen2-VL-2B-Instruct与ColBERT策略的视觉检索模型

此为基础版本，采用256的批量大小（而非32）训练5个周期，并更新了填充标记

BiQwen2是一种基于新颖模型架构和训练策略的模型，利用视觉语言模型（VLMs）高效地从视觉特征中索引文档。
它是Qwen2-VL-2B的扩展版本。
该模型在论文ColPali：基于视觉语言模型的高效文档检索中首次提出，并在此代码库中发布。

版本特性

此模型接受动态分辨率的输入图像，且不调整其大小或改变宽高比（与ColPali一致）。
最大分辨率设置为最多生成768个图像块。实验表明，增加图像块数量能显著提升性能，但会提高内存需求。

此版本使用colpali-engine==0.3.9训练。
训练数据与论文中描述的ColPali数据相同。

模型训练

数据集

我们的训练数据集包含127,460个查询-页面对，由公开学术数据集的训练集（63%）和合成数据集（37%）组成。合成数据集基于网络爬取的PDF文档页面，并通过VLM（Claude-3 Sonnet）生成的伪问题增强。
训练集设计为全英文，以研究其对非英语语言的零样本泛化能力。我们明确验证了ViDoRe与训练集之间无多页PDF文档重叠，防止评估污染。
验证集占样本的2%，用于调参。

注：多语言数据存在于语言模型的预训练语料中，很可能也存在于多模态训练中。

参数

所有模型在训练集上训练1个周期。除非另有说明，我们以bfloat16格式训练，在语言模型的Transformer层和随机初始化的投影层上使用低秩适配器（LoRA）（alpha=32，r=32），并采用paged_adamw_8bit优化器。
训练在8 GPU上通过数据并行进行，学习率为5e-5，带2.5%的线性预热衰减，批量大小为32。

使用方法

确保安装colpali-engine（版本需≥0.3.9）且transformers版本>4.49.1。

pip install git+https://github.com/illuin-tech/colpali  

import torch  
from PIL import Image  
from transformers.utils.import_utils import is_flash_attn_2_available  

from colpali_engine.models import BiQwen2, BiQwen2Processor  

model = BiQwen2.from_pretrained(  
    "vidore/biqwen2-v0.1",  
    torch_dtype=torch.bfloat16,  
    device_map="cuda:0",  # 或Apple Silicon设备用"mps"  
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,  
).eval()  
processor = BiQwen2Processor.from_pretrained("vidore/biqwen2-v0.1")  

# 输入示例  
images = [  
    Image.new("RGB", (128, 128), color="white"),  
    Image.new("RGB", (64, 32), color="black"),  
]  
queries = [  
    "注意力机制真的足够吗？",  
    "萨尔瓦多的香蕉种植量是多少？",  
]  

# 处理输入  
batch_images = processor.process_images(images).to(model.device)  
batch_queries = processor.process_queries(queries).to(model.device)  

# 前向计算  
with torch.no_grad():  
    image_embeddings = model(**batch_images)  
    query_embeddings = model(**batch_queries)  

scores = processor.score_single_vector(query_embeddings, image_embeddings)  

局限性

• 专注领域：模型主要针对PDF类文档和高资源语言，对其他文档类型或低资源语言的泛化能力可能有限。
• 支持性：模型依赖ColBERT后期交互机制的多向量检索，需额外工程适配广泛使用的单向量检索框架。

许可

ColQwen2的视觉语言主干模型（Qwen2-VL）采用apache2.0许可，模型附加适配器采用MIT许可。

联系方式

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

引用

若在研究中使用了本组织的任何数据集或模型，请按以下格式引用原始论文：

@misc{faysse2024colpaliefficientdocumentretrieval,  
  title={ColPali: Efficient Document Retrieval with Vision Language Models},   
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},  
  year={2024},  
  eprint={2407.01449},  
  archivePrefix={arXiv},  
  primaryClass={cs.IR},  
  url={https://arxiv.org/abs/2407.01449},   
}