pipeline_tag: 句子相似度
tags:

• 特征提取
• 句子相似度
  language:
• 德语
• 英语
• 西班牙语
• 法语
• 意大利语
• 荷兰语
• 日语
• 葡萄牙语
• 中文
• 波兰语

模型卡片：vectorizer.guava

本模型是由Sinequa开发的向量化工具。它能够根据输入的段落或查询生成嵌入向量。段落向量存储在我们的向量索引中，查询向量则在查询时用于查找索引中的相关段落。

模型名称：vectorizer.guava

支持的语言

模型在以下语言中进行了训练和测试：

• 英语
• 法语
• 德语
• 西班牙语
• 意大利语
• 荷兰语
• 日语
• 葡萄牙语
• 中文（简体）
• 中文（繁体）
• 波兰语

除了这些语言外，模型还支持基础模型预训练时使用的其他91种语言（参见XLM-R论文附录A）。

评分

注意：相关性评分是通过多个检索数据集计算的平均值（详见下方评估指标）。

推理时间

GPU内存使用

注意：GPU内存使用量仅包含模型在NVIDIA T4 GPU上批大小为32时的实际消耗内存。不包括ONNX Runtime初始化时固定的内存消耗（约0.5至1 GiB，具体取决于GPU）。

要求

• 最低Sinequa版本：11.10.0
• 使用FP16模型和CUDA计算能力8.9+（如NVIDIA L4）的最低Sinequa版本：11.11.0
• CUDA计算能力：高于5.0（使用FP16需高于6.0）

模型详情

概述

• 参数数量：1.07亿
• 基础语言模型：mMiniLMv2-L6-H384-distilled-from-XLMR-Large（论文，GitHub）
• 对大小写和重音不敏感
• 输出维度：256（通过额外的密集层降维）
• 训练方法：对于包含硬负样本的数据集使用查询-段落-负样本三元组，其余使用查询-段落对。通过批内负样本策略增加负样本数量。

训练数据

模型训练使用了all-MiniLM-L6-v2中引用的所有数据集。此外，还训练了这篇论文中提到的前9种语言的数据集，以及波兰语数据集和繁体中文版本的msmarco-zh数据集。

评估指标

英语

相关性评分是通过BEIR基准中的数据集评估结果的平均值计算得出的。所有数据集均为英语。

繁体中文

模型在繁体中文版本的msmarco-zh开发集上进行了评估。

作为对比，raspberry在该数据集上的评分为0.693。

其他语言

模型通过MIRACL基准测试其多语言能力。由于并非所有训练语言都包含在基准中，仅报告现有语言的指标。