AIbase

O

Opensearch Neural Sparse Encoding V2 Distill

由 opensearch-project 开发
OpenSearch神经稀疏编码模型v2蒸馏版是一个高效的学习型稀疏检索模型，专为OpenSearch设计，能够将查询和文档编码为30522维稀疏向量。
文本嵌入
Transformers
英语
开源协议:Apache-2.0#学习型稀疏检索#零样本性能#高效推理
下载量 4,964
发布时间 : 7/17/2024
模型介绍
内容详情
替代品

模型简介

该模型主要用于检索任务，能够将查询和文档转换为稀疏向量，支持基于Lucene倒排索引的稀疏检索，适用于多种信息检索场景。

模型特点

高效稀疏检索
支持基于Lucene倒排索引的稀疏检索，提高检索效率。
蒸馏版优化
相比基础版模型，参数量减少一半，同时保持或提升性能。
多数据集训练
训练数据包含MS MARCO、eli5问答、squad问答对等14个公开数据集。
语义关联匹配
即使原始文本无重叠词，模型仍能通过语义关联实现有效匹配。

模型能力

文本检索
查询扩展
文档扩展
语义匹配

使用案例

信息检索
文档检索
在大型文档库中快速检索相关文档。
在BEIR基准测试子集上平均NDCG@10达到0.528
问答系统
用于问答系统中的相关段落检索。
在NQ(自然问答)数据集上NDCG@10达到0.561
搜索引擎
OpenSearch集成
作为OpenSearch的神经稀疏检索功能的核心组件。
支持基于Lucene倒排索引的高效检索