基础模型:

• Qwen/Qwen2.5-VL-7B-Instruct 库名称: peft 数据集:
• llamaindex/vdr-multilingual-train
• nomic-ai/colpali_train_set_split_by_source 语言:
• 英语
• 意大利语
• 法语
• 德语
• 西班牙语 管道标签: 视觉文档检索 标签:
• vidore
• colpali
• 多模态嵌入
• 多语言嵌入
• 文本到视觉文档(T→VD)检索 许可证: apache-2.0

ColNomic Embed Multimodal 7B: 最先进的视觉文档检索模型

colnomic-embed-multimodal-7b是一款多向量最先进的多模态嵌入模型，擅长视觉文档检索任务：

• 高性能：在Vidore-v2上达到62.7 NDCG@5，超越所有其他模型
• 统一文本图像编码：直接编码交错排列的文本和图像，无需复杂预处理
• 先进架构：70亿参数的多模态嵌入模型
• 完全开源：提供模型权重、训练数据和代码

性能表现

快速开始

使用colnomic-embed-multimodal-7b前，请从源码安装colpali

pip install git+https://github.com/illuin-tech/colpali.git

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model_name = "nomic-ai/colnomic-embed-multimodal-7b"

model = ColQwen2_5.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # 或Apple Silicon设备使用"mps"
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()

processor = ColQwen2_5_Processor.from_pretrained(model_name)

# 输入数据
images = [
    Image.new("RGB", (128, 128), color="white"),
    Image.new("RGB", (64, 32), color="black"),
]
queries = [
    "我们研发部门的组织结构是怎样的？",
    "能否提供去年财务表现的详细分析？",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向传播
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

模型架构

• 总参数量：70亿
• 训练方法：基于Qwen2.5-VL 7B Instruct微调
• 架构类型：统一处理文本和图像输入的视觉语言模型
• 关键创新：
  • 同源采样创建更难的批次内负样本
  • 多向量输出选项提升性能

与RAG工作流集成

Nomic Embed Multimodal 7B可无缝集成检索增强生成(RAG)工作流：

1. 直接文档嵌入：跳过OCR和复杂处理，直接嵌入文档页面图像
2. 更快处理：消除预处理步骤加速索引
3. 更完整信息：在单个嵌入中捕获文本和视觉线索
4. 简单实现：使用相同API处理文本和图像

推荐使用场景

该模型擅长处理挑战传统纯文本系统的现实文档检索场景：

• 研究论文：捕获公式、图表和表格
• 技术文档：编码代码块、流程图和截图
• 产品目录：表示图像、规格和价格表
• 财务报告：嵌入图表、图形和数值数据
• 视觉丰富内容：布局和视觉信息重要的场景
• 多语言文档：视觉上下文提供重要线索的场景

训练细节

ColNomic Embed Multimodal 7B通过多项关键创新开发：

1. 同源采样：强制从同一数据源采样创建更难的批次内负样本，防止模型学习数据伪影

2. 多向量配置：提供比密集变体性能更高的多向量变体

局限性

• 处理非常规布局或特殊视觉元素的文档时性能可能变化
• 虽然支持多语言，但对英语内容表现最强
• 处理大型复杂文档可能需要分块
• 手写体或高度风格化字体文档的性能可能降低

加入Nomic社区

• Nomic嵌入生态系统：https://www.nomic.ai/embed
• 官网：https://nomic.ai
• Twitter：https://twitter.com/nomic_ai
• Discord：https://discord.gg/myY5YDR8z8

引用

如果您在研究中使用了本模型，请考虑引用：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: 基于视觉语言模型的高效文档检索}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}
@misc{ma2024unifyingmultimodalretrievaldocument,
      title={通过文档截图嵌入统一多模态检索}, 
      author={Xueguang Ma and Sheng-Chieh Lin and Minghan Li and Wenhu Chen and Jimmy Lin},
      year={2024},
      eprint={2406.11251},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2406.11251}, 
}
@misc{nomicembedmultimodal2025,
  title={Nomic Embed Multimodal: 用于视觉文档检索的交错文本、图像和截图},
  author={Nomic团队},
  year={2025},
  publisher={Nomic AI},
  url={https://nomic.ai/blog/posts/nomic-embed-multimodal},
}