基础模型:

• Qwen/Qwen2.5-VL-7B-Instruct 库名称: peft 数据集:
• nomic-ai/colpali-queries-mined-20250321-by-source 语言:
• 英语
• 意大利语
• 法语
• 德语
• 西班牙语 管道标签: 视觉文档检索 标签:
• vidore
• colpali
• 多模态嵌入
• 多语言嵌入
• 文本到视觉文档检索(T→VD) 许可证: apache-2.0

Nomic Embed Multimodal 7B：最先进的视觉文档检索模型

nomic-embed-multimodal-7b是一款性能卓越的密集多模态嵌入模型，专精于视觉文档检索任务：

• 卓越性能：在Vidore-v2基准测试中取得58.8 NDCG@5，超越所有其他密集多模态嵌入模型
• 图文统一编码：直接处理交错排列的文本与图像，无需复杂预处理
• 先进架构：70亿参数的多模态嵌入模型
• 完全开源：提供模型权重、训练数据和完整代码

性能表现

快速开始

使用nomic-embed-multimodal-7b前请从源码安装colpali：

pip install git+https://github.com/illuin-tech/colpali.git

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import BiQwen2_5, BiQwen2_5_Processor

model_name = "nomic-ai/nomic-embed-multimodal-7b"

model = BiQwen2_5.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # 苹果芯片设备可使用"mps"
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()

processor = BiQwen2_5_Processor.from_pretrained(model_name)

# 输入准备
images = [
    Image.new("RGB", (128, 128), color="white"),
    Image.new("RGB", (64, 32), color="black"),
]
queries = [
    "我们研发部门的组织架构是怎样的？",
    "能否提供去年财务表现的详细分析？",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向计算
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score(list(torch.unbind(query_embeddings)), list(torch.unbind(image_embeddings)))

模型架构

• 参数量：70亿
• 训练方法：基于Qwen2.5-VL 7B Instruct微调
• 架构类型：支持图文统一输入的视觉语言模型
• 核心创新：
  • 同源采样生成更难训练的批次负样本
  • 采用正样本感知的困难负样本挖掘技术

RAG工作流集成

本模型可无缝集成检索增强生成(RAG)工作流：

1. 直接文档嵌入：跳过OCR环节，直接处理文档页面图像
2. 更快处理：省去预处理步骤加速索引构建
3. 信息更完整：单次嵌入同时捕获文本与视觉特征
4. 简单实现：文本与图像使用相同API接口

推荐应用场景

特别适合传统纯文本系统难以处理的真实文档检索场景：

• 科研论文：处理公式、图表和数据
• 技术文档：编码代码块、流程图和截图
• 产品目录：呈现产品图、规格参数和价目表
• 财务报告：嵌入走势图、柱状图和数值数据
• 富视觉内容：布局和视觉信息至关重要的场景
• 多语言文档：视觉上下文提供重要线索的场景

训练细节

通过多项关键技术实现突破：

1. 同源采样：强制从同数据源采样生成更难训练的批次负样本，防止模型学习数据集特征

2. 困难负样本挖掘：使用初始模型检索每个查询的top-k最近邻作为困难负样本

3. 正样本感知挖掘：采用NV-Retriever技术减少假阴性样本

局限性

• 非常规排版或特殊视觉元素的文档可能影响效果
• 虽支持多语言，但英语内容表现最佳
• 超大或复杂文档可能需要分块处理
• 手写体或特殊字体的文档可能效果欠佳

加入Nomic社区

• 嵌入生态系统：https://www.nomic.ai/embed
• 官网：https://nomic.ai
• 推特：https://twitter.com/nomic_ai
• Discord：https://discord.gg/myY5YDR8z8

引用文献

若本模型对您的研究或应用有所帮助，请考虑引用：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: 基于视觉语言模型的高效文档检索}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}
@misc{ma2024unifyingmultimodalretrievaldocument,
      title={通过文档截图嵌入统一多模态检索}, 
      author={Xueguang Ma and Sheng-Chieh Lin and Minghan Li and Wenhu Chen and Jimmy Lin},
      year={2024},
      eprint={2406.11251},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2406.11251}, 
}
@misc{nomicembedmultimodal2025,
  title={Nomic多模态嵌入：面向视觉文档检索的图文交错处理},
  author={Nomic团队},
  year={2025},
  publisher={Nomic AI},
  url={https://nomic.ai/blog/posts/nomic-embed-multimodal},
}