许可证: mit
数据集:

• openbmb/VisRAG-Ret-Train-Synthetic-data
• openbmb/VisRAG-Ret-Train-In-domain-data
• tsystems/vqa_de_en_batch1
• vidore/colpali_train_set
• llamaindex/vdr-multilingual-train
• Metric-AI/tabfquad_train_set
  支持语言:
• 英语
• 法语
• 西班牙语
• 意大利语
• 德语
  基础模型:
• Qwen/Qwen2.5-VL-3B-Instruct
  标签:
• 多模态嵌入
• 多语言嵌入
• 文本到视觉文档检索(T→VD)
  库名称: transformers
  流水线标签: visual-document-retrieval

ColQwen2.5-3b-多语言-v1.0：基于Qwen2.5-VL-3B-Instruct与ColBERT策略的多语言视觉检索模型

此为基础版本，在8块H100 80GB显卡上训练，每设备批处理量=128，共训练8轮次。

ColQwen是一种基于视觉语言模型(VLMs)的新型架构与训练策略的模型，能高效通过视觉特征索引文档。
它是对Qwen2.5-VL-3B的扩展，可生成ColBERT风格的多向量文本与图像表征。
该模型在论文ColPali：基于视觉语言模型的高效文档检索中首次提出，并发布于此代码库

版本特性

本模型支持动态输入图像分辨率且不改变宽高比（如ColPali方案）。最大分辨率设定为最多生成768个图像块。实验表明更多图像块能显著提升效果，但会增加内存需求。

此版本使用colpali-engine==0.3.9训练。

数据

• 德语&英语：来自tsystems/vqa_de_en_batch1数据集
• 多语言数据集：来自llamaindex/vdr-multilingual-train
• 合成数据：来自openbmb/VisRAG-Ret-Train-Synthetic-data
• 领域内VQA数据：来自openbmb/VisRAG-Ret-Train-In-domain-data
• Colpali数据集：来自vidore/colpali_train_set

模型训练

参数配置

采用低秩适配器(LoRA)，语言模型transformer层设置alpha=128和r=128，并对随机初始化的最终投影层进行训练。使用paged_adamw_8bit优化器，在8块H100 GPU上通过分布式数据并行（accelerate实现）训练，学习率2e-4配合1%预热步数的线性衰减，每设备批处理量128，采用bfloat16格式。

安装

pip install git+https://github.com/illuin-tech/colpali  
pip install transformers==4.49.0  
pip install flash-attn --no-build-isolation  

使用示例

import torch  
from PIL import Image  

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor  

model = ColQwen2_5.from_pretrained(  
        "tsystems/colqwen2.5-3b-multilingual-v1.0",  
        torch_dtype=torch.bfloat16,  
        device_map="cuda:0",  # Apple芯片可用"mps"  
    ).eval()  
processor = ColQwen2_5_Processor.from_pretrained("tsystems/colqwen2.5-3b-multilingual-v1.0")  

# 输入准备  
images = [  
    Image.new("RGB", (32, 32), color="white"),  
    Image.new("RGB", (16, 16), color="black"),  
]  
queries = [  
    "注意力机制真的万能吗？",  
    "萨尔瓦多香蕉种植量是多少？",  
]  

# 处理输入  
batch_images = processor.process_images(images).to(model.device)  
batch_queries = processor.process_queries(queries).to(model.device)  

# 前向计算  
with torch.no_grad():  
    image_embeddings = model(**batch_images)  
    query_embeddings = model(**batch_queries)  

scores = processor.score_multi_vector(query_embeddings, image_embeddings)  

局限性

• 专注领域：主要针对PDF类文档和高资源语言，对其他文档类型或低资源语言的泛化能力有限
• 支持限制：依赖ColBERT后期交互机制的多向量检索，需额外工程适配广泛使用的单向量检索框架

许可

ColQwen2.5的视觉语言主干模型(Qwen2.5-VL)采用apache2.0许可，模型适配器采用MIT许可。

引用

若在研究中使用本组织模型，请引用原始论文：

@misc{faysse2024colpaliefficientdocumentretrieval,  
  title={ColPali：基于视觉语言模型的高效文档检索},  
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},  
  year={2024},  
  eprint={2407.01449},  
  archivePrefix={arXiv},  
  primaryClass={cs.IR},  
  url={https://arxiv.org/abs/2407.01449},  
}  

• 开发机构：T-Systems国际