许可证: mit 数据集:

• openbmb/VisRAG-Ret-Train-Synthetic-data
• openbmb/VisRAG-Ret-Train-In-domain-data
• Metric-AI/rag_docmatix_100k
• vidore/colpali_train_set
• llamaindex/vdr-multilingual-train
• Metric-AI/tabfquad_train_set 语言:
• 英语
• 法语
• 西班牙语
• 意大利语
• 德语 基础模型:
• Qwen/Qwen2.5-VL-3B-Instruct 标签:
• vidore
• 多模态嵌入
• 多语言嵌入
• 文本到视觉文档检索(T→VD) 库名称: peft 管道标签: 视觉文档检索

ColQwen2.5-3b-多语言-v1.0: 基于Qwen2.5-VL-3B-Instruct并采用ColBERT策略的多语言视觉检索器

截至2025年2月11日，在Vidore基准测试中位列7B参数以下模型榜首，总排名第二。报告分数详见Vidore排行榜。

此为基础版本，使用4块A100 80GB显卡训练，每设备批次大小为128，梯度累积步数为2，共训练5个周期。

ColQwen是基于视觉语言模型(VLMs)的新型架构和训练策略，能高效通过视觉特征索引文档。该模型是Qwen2.5-VL-3B的扩展版本，可生成ColBERT风格的多向量文本和图像表示。相关技术首次发表于论文ColPali: 基于视觉语言模型的高效文档检索，并首发于此代码库

版本特性

本模型支持动态输入图像分辨率且不改变原始宽高比（与ColPali技术一致）。最大分辨率设定为最多生成768个图像块。实验表明增加图像块数量能显著提升效果，但会提高内存需求。

此版本使用colpali-engine==0.3.7训练。

训练数据

• 合成数据：选自openbmb/VisRAG-Ret-Train-Synthetic-data数据集并经过预处理
• 领域内VQA数据：源自openbmb/VisRAG-Ret-Train-In-domain-data
• Docmatix数据集：提取自Metric-AI/rag_docmatix_100k
• Colpali数据集：来自vidore/colpali_train_set
• 多语言数据集：取自llamaindex/vdr-multilingual-train

训练参数

采用低秩适配器(LoRA)技术，在语言模型的transformer层和随机初始化的最终投影层设置alpha=128与r=128参数。使用paged_adamw_8bit优化器，在4xA100 GPU环境下通过分布式数据并行（accelerate实现）训练。学习率2e-4配合1%预热步数的线性衰减，每设备批次大小128，梯度累积步数2，采用bfloat16格式。

安装指南

确保colpali-engine版本≥0.3.1（建议源码安装），transformers版本需>4.45.0。

安装ColPali

pip install git+https://github.com/illuin-tech/colpali

或指定分支：

pip install git+https://github.com/illuin-tech/colpali@colqwen2_5

安装Qwen2.5

Qwen2.5-VL代码已集成至最新版HuggingFace transformers，建议源码安装：

pip install git+https://github.com/huggingface/transformers accelerate

否则可能报错：

KeyError: 'qwen2_5_vl'

使用示例

import torch
from PIL import Image

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model = ColQwen2_5.from_pretrained(
        "Metric-AI/ColQwen2.5-3b-multilingual-v1.0",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # Apple芯片可用"mps"
    ).eval()
processor = ColQwen2_5_Processor.from_pretrained("Metric-AI/ColQwen2.5-3b-multilingual-v1.0")

# 输入准备
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "注意力机制真的是万能的吗？",
    "萨尔瓦多的香蕉种植量是多少？",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向计算
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

局限性

• 适用范围：主要针对PDF类文档和高资源语言，对其他文档类型或低资源语言的泛化能力有限
• 技术支持：依赖ColBERT后期交互机制的多向量检索，需额外工程适配主流单向量检索框架

许可证

ColQwen2.5的视觉语言主干模型(Qwen2.5-VL)采用apache2.0许可，适配器部分遵循MIT许可。

引用文献

若在研究中使用了本组织的模型，请按以下格式引用原始论文：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: 基于视觉语言模型的高效文档检索}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

• 研发机构: Metric AI研究院