许可证: mit 库名称: colpali 基础模型: vidore/ColSmolVLM-Instruct-256M 语言:

• 英语 标签:
• colsmolvlm
• vidore实验性
• vidore 管道标签: 视觉文档检索

ColSmolVLM-Instruct-256M：基于SmolVLM-Instruct-250M并采用ColBERT策略的视觉检索器

这是以批量大小32训练3个周期的版本

ColSmolVLM是一种基于新型模型架构和训练策略的视觉语言模型（VLM），能高效地从视觉特征索引文档。作为SmolVLM的扩展，它能生成文本和图像的ColBERT风格多向量表示。该模型在论文ColPali：基于视觉语言模型的高效文档检索中提出，并首次发布于此代码库

版本特性

此版本使用Colpali代码库的b983e40提交（主分支）进行训练。

数据与论文中描述的ColPali数据相同。

模型训练

数据集

我们的训练数据集包含127,460个查询-页面对，由公开学术数据集的训练集（63%）和网络爬取PDF文档页面经VLM生成（Claude-3 Sonnet）伪问题增强的合成数据集（37%）组成。训练集设计为全英文，以便研究对非英语语言的零样本泛化能力。我们明确验证了ViDoRe和训练集中没有使用多页PDF文档，以防止评估污染。验证集包含2%的样本用于调参。

注：多语言数据存在于语言模型的预训练语料库中，很可能也存在于多模态训练中。

参数

除非另有说明，我们以bfloat16格式训练模型，在语言模型的Transformer层及最终随机初始化的投影层上使用alpha=32和r=32的低秩适配器（LoRA），并采用paged_adamw_8bit优化器。我们在4GPU设置上使用数据并行、学习率5e-4（含2.5%预热步数的线性衰减）和批量大小8进行训练。

使用方式

确保从源代码安装或使用版本高于0.3.5的colpali-engine（当前为代码库主分支）。transformers版本需>4.46.2。

pip install git+https://github.com/illuin-tech/colpali

import torch
from PIL import Image

from colpali_engine.models import ColIdefics3, ColIdefics3Processor

model = ColIdefics3.from_pretrained(
        "vidore/colSmol-256M",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",
        attn_implementation="flash_attention_2" # 或eager
    ).eval()
processor = ColIdefics3Processor.from_pretrained("vidore/colSmol-256M")

# 输入示例
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "注意力机制真的是你所需要的全部吗？",
    "萨尔瓦多香蕉种植量是多少？",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向传播
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

局限性

• 专注领域：模型主要针对PDF类文档和高资源语言，可能限制其对其他文档类型或低资源语言的泛化能力。
• 支持性：模型依赖ColBERT后期交互机制衍生的多向量检索，可能需要工程努力适配缺乏原生多向量支持的广泛使用的向量检索框架。

许可证

ColQwen2的视觉语言骨干模型（Qwen2-VL）采用apache2.0许可证。模型附加的适配器采用MIT许可证。

联系方式

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

引用

如在研究中使用本组织的任何数据集或模型，请按以下方式引用原始数据集：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali：基于视觉语言模型的高效文档检索}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}