许可证: mit 数据集:

• openbmb/VisRAG-Ret-Train-Synthetic-data
• openbmb/VisRAG-Ret-Train-In-domain-data
• Metric-AI/rag_docmatix_100k
• vidore/colpali_train_set
• llamaindex/vdr-multilingual-train
• Metric-AI/tabfquad_train_set 语言:
• 英语
• 法语
• 西班牙语
• 意大利语
• 德语 基础模型:
• Qwen/Qwen2.5-VL-7B-Instruct 标签:
• vidore
• 多模态嵌入
• 多语言嵌入
• 文本到视觉文档检索(T→VD) 库名称: peft 流水线标签: 视觉文档检索

ColQwen2.5-7b-多语言-v1.0: 基于Qwen2.5-VL-7B-Instruct并采用ColBERT策略的多语言视觉检索模型

截至2025年2月11日，在Vidore基准测试中排名第一。报告分数详见Vidore排行榜。

此为基础版本，使用4块A100 80GB显卡训练，每设备批次大小为64，梯度累积步数为2，共训练5个周期。

ColQwen是一种基于视觉语言模型(VLMs)的新型模型架构和训练策略，能高效地从视觉特征索引文档。 它是Qwen2.5-VL-3B的扩展版本，可生成ColBERT风格的多向量文本和图像表示。 该模型在论文ColPali: 基于视觉语言模型的高效文档检索中首次提出，并在此代码库中发布。

版本特性

本模型接受动态分辨率的输入图像且不改变其宽高比，与ColPali保持一致。 最大分辨率设置为最多生成768个图像块。实验表明增加图像块数量能显著提升性能，但会提高内存需求。

此版本使用colpali-engine==0.3.7训练。

数据

• 合成数据: 选自并预处理自openbmb/VisRAG-Ret-Train-Synthetic-data数据集
• 领域内VQA数据集: 取自openbmb/VisRAG-Ret-Train-In-domain-data
• Docmatix数据集: 提取自Metric-AI/rag_docmatix_100k数据集
• Colpali数据集: 来自vidore/colpali_train_set
• 多语言数据集: 来自llamaindex/vdr-multilingual-train

模型训练

参数

我们使用低秩适配器(LoRA)训练模型， 在语言模型的Transformer层和随机初始化的最终投影层上设置alpha=128和r=128， 采用paged_adamw_8bit优化器。 使用4块A100 GPU进行分布式数据并行训练(通过accelerate实现)， 学习率为2e-4并带1%预热步数的线性衰减， 每设备批次大小为128， 梯度累积步数为2， 采用bfloat16格式。

安装

确保从源码安装或使用版本高于0.3.1的colpali-engine。 transformers版本必须>4.45.0。

ColPali

pip install git+https://github.com/illuin-tech/colpali

或

pip install git+https://github.com/illuin-tech/colpali@colqwen2_5

Qwen2.5

Qwen2.5-VL的代码已集成至最新版Hugging Face transformers，建议从源码构建：

pip install git+https://github.com/huggingface/transformers accelerate

否则可能遇到以下错误：

KeyError: 'qwen2_5_vl'

使用示例

import torch
from PIL import Image

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model = ColQwen2_5.from_pretrained(
        "Metric-AI/colqwen2.5-3b-multilingual",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # Apple芯片可使用"mps"
    ).eval()
processor = ColQwen2_5_Processor.from_pretrained("Metric-AI/colqwen2.5-3b-multilingual")

# 输入数据
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "注意力机制真的就是全部所需吗？",
    "萨尔瓦多的香蕉种植量是多少？",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向传播
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

局限性

• 专注领域: 模型主要针对PDF类文档和高资源语言，对其他文档类型或低资源语言的泛化能力可能有限。
• 支持需求: 模型依赖ColBERT后期交互机制衍生的多向量检索，可能需要工程改造才能适配缺乏原生多向量支持的通用向量检索框架。

许可证

ColQwen2.5的视觉语言骨干模型(Qwen2.5-VL)采用apache2.0许可证，模型附加的适配器采用MIT许可证。

引用

若在研究中使用了本组织的模型，请按以下格式引用原始论文：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: 基于视觉语言模型的高效文档检索}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

• 开发团队: Metric AI研究实验室