许可证: mit
数据集:

• openbmb/VisRAG-Ret-Train-Synthetic-data
• openbmb/VisRAG-Ret-Train-In-domain-data
• Metric-AI/rag_docmatix_100k
• vidore/colpali_train_set
• llamaindex/vdr-multilingual-train
  语言:
• 英语
• 法语
• 西班牙语
• 意大利语
• 德语
  基础模型:
• Qwen/Qwen2.5-VL-3B-Instruct
  标签:
• vidore
• 多模态嵌入
• 多语言嵌入
• 文本到视觉文档检索(T→VD)
  库名称: peft
  流水线标签: 视觉文档检索

ColQwen2.5-3b-multilingual: 基于Qwen2.5-VL-3B-Instruct的多语言视觉检索器（采用ColBERT策略）

截至2025年2月2日，在Vidore基准测试中，该模型在7B参数以下模型中排名第一，整体排名第三。Vidore排行榜上报告的分数对应checkpoint-1800。

此为基础版本，训练配置为4xA100 80GB显卡，每设备批次大小=128，梯度累积步数=2，共训练5个周期。

ColQwen是一种基于视觉语言模型（VLM）的新型架构和训练策略的模型，能高效地从视觉特征索引文档。
它是对Qwen2.5-VL-3B的扩展，可生成ColBERT风格的多向量文本和图像表示。
该模型在论文ColPali: 基于视觉语言模型的高效文档检索中首次提出，并发布于此代码库。

版本特性

本模型支持动态输入图像分辨率且不改变原始宽高比（与ColPali一致）。
最大分辨率限制为最多生成768个图像块。实验表明，增加图像块数量能显著提升效果，但会提高内存需求。
此版本使用colpali-engine==0.3.7训练。

数据

• 合成数据：选自openbmb/VisRAG-Ret-Train-Synthetic-data数据集并经过预处理
• 领域内VQA数据：来自openbmb/VisRAG-Ret-Train-In-domain-data
• Docmatix数据集：提取自Metric-AI/rag_docmatix_100k
• Colpali数据集：取自vidore/colpali_train_set
• 多语言数据集：来自llamaindex/vdr-multilingual-train

模型训练

参数配置

采用低秩适配器(LoRA)，在语言模型的Transformer层和随机初始化的投影层设置alpha=128与r=128。
使用paged_adamw_8bit优化器，在4xA100 GPU上通过分布式数据并行（accelerate实现）训练。
学习率2e-4（含1%预热步数的线性衰减），每设备批次大小128，梯度累积步数2，bfloat16格式。

安装

确保colpali-engine版本≥0.3.1（建议源码安装），transformers版本需>4.45.0。

ColPali安装

pip install git+https://github.com/illuin-tech/colpali

或指定分支：

pip install git+https://github.com/illuin-tech/colpali@colqwen2_5

Qwen2.5安装

最新版HuggingFace transformers已集成Qwen2.5-VL代码，建议源码安装：

pip install git+https://github.com/huggingface/transformers accelerate

否则可能报错：

KeyError: 'qwen2_5_vl'

使用示例

import torch
from PIL import Image
from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

# 加载模型
model = ColQwen2_5.from_pretrained(
        "Metric-AI/colqwen2.5-3b-multilingual",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # Apple芯片可用"mps"
    ).eval()
processor = ColQwen2_5_Processor.from_pretrained("Metric-AI/colqwen2.5-3b-multilingual")

# 输入准备
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "注意力机制真的万能吗？",
    "萨尔瓦多的香蕉种植量是多少？",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向计算
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

# 计算相似度
scores = processor.score_multi_vector(query_embeddings, image_embeddings)

局限性

• 适用范围：主要针对PDF类文档和高资源语言，对其他文档类型或低资源语言的泛化能力有限
• 技术支持：依赖ColBERT的多向量检索机制，需额外工程适配现有单向量检索框架

许可证

ColQwen2.5的视觉语言主干模型(Qwen2.5-VL)采用apache2.0许可，附加适配器采用MIT许可。

引用

若使用本机构模型，请引用原始论文：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

• 开发团队: Metric AI研究院