许可证：cc-by-nc-4.0
数据集：

• vidore/colpali_train_set
  语言：
• en
  基础模型：
• Qwen/Qwen2-VL-7B-Instruct
  标签：
• vidore
• multimodal-embedding
  库名称：peft
  流水线标签：visual-document-retrieval

IEIT-Systems ColQwen2-7B：基于Qwen2-VL-7B-Instruct与ColBERT策略的视觉检索模型

此为以批量大小8x64训练5轮次并更新填充标记的基础版本

ColQwen是一种基于视觉语言模型（VLMs）的新型架构与训练策略的模型，旨在通过视觉特征高效索引文档。
该模型是Qwen2-VL-7B的扩展，可生成ColBERT风格的多向量文本与图像表示。
其首次发布于论文ColPali: Efficient Document Retrieval with Vision Language Models及此代码库。

此版本为未训练的基础版本，以确保投影层初始化的确定性。

版本特性

本模型支持动态输入图像分辨率且不调整其宽高比（与ColPali一致）。最大分辨率限制为最多生成768个图像块。实验表明，增加图像块数量可显著提升效果，但会提高内存需求。

此版本使用colpali-engine==0.3.4训练。

数据与论文中描述的ColPali数据相同，并额外使用ShareGPT4V数据集（https://sharegpt4v.github.io/）进行微调。

模型训练

参数配置

采用低秩适配器（LoRA）训练，语言模型变压器层的alpha=32、r=32，并对随机初始化的最终投影层进行适配。使用paged_adamw_8bit优化器，在8xA100 GPU上通过分布式数据并行（accelerate实现）训练。学习率为5e-4，线性衰减并含1%预热步数，每设备批量大小为32，格式为bfloat16。

使用方式

确保安装colpali-engine（版本需≥0.3.4）且transformers版本>4.46.1。

pip install git+https://github.com/illuin-tech/colpali  

import torch  
from PIL import Image  
from colpali_engine.models import ColQwen2, ColQwen2Processor  

model = ColQwen2.from_pretrained(  
        "yydxlv/colqwen2-7b-v1.0",  
        torch_dtype=torch.bfloat16,  
        device_map="cuda:0",  # Apple Silicon设备可替换为"mps"  
    ).eval()  
processor = ColQwen2Processor.from_pretrained("yydxlv/colqwen2-7b-v1.0")  

# 输入示例  
images = [  
    Image.new("RGB", (32, 32), color="white"),  
    Image.new("RGB", (16, 16), color="black"),  
]  
queries = [  
    "注意力机制真的万能吗？",  
    "萨尔瓦多的香蕉种植量是多少？",  
]  

# 处理输入  
batch_images = processor.process_images(images).to(model.device)  
batch_queries = processor.process_queries(queries).to(model.device)  

# 前向计算  
with torch.no_grad():  
    image_embeddings = model(**batch_images)  
    query_embeddings = model(**batch_queries)  

scores = processor.score_multi_vector(query_embeddings, image_embeddings)  

局限性

• 专注领域：模型主要针对PDF类文档和高资源语言，对其他文档类型或低资源语言的泛化能力有限。
• 技术支持：模型依赖ColBERT延迟交互机制衍生的多向量检索，需额外适配工作以兼容缺乏原生多向量支持的通用向量检索框架。

许可

ColQwen2的视觉语言主干模型（Qwen2-VL）采用apache2.0许可。
此微调适配器遵循CC BY NC 4.0许可，当前仅限研究用途。

引用

若使用本组织的模型，请引用原始论文：

@misc{faysse2024colpaliefficientdocumentretrieval,  
  title={ColPali: Efficient Document Retrieval with Vision Language Models},   
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},  
  year={2024},  
  eprint={2407.01449},  
  archivePrefix={arXiv},  
  primaryClass={cs.IR},  
  url={https://arxiv.org/abs/2407.01449},   
}  

• 开发团队：IEIT systems