language: zh
license: apache-2.0
tags:

• 学习型稀疏检索
• opensearch
• transformers
• 检索
• 段落检索
• 文档扩展
• 词袋模型

opensearch-neural-sparse-encoding-doc-v2-mini

模型选择

选择模型时应综合考虑搜索相关性、模型推理效率和检索效率(FLOPS)。我们在BEIR基准测试的子集上评估了模型的零样本性能，包括：TrecCovid、NFCorpus、NQ、HotpotQA、FiQA、ArguAna、Touche、DBPedia、SCIDOCS、FEVER、Climate FEVER、SciFact、Quora。

总体而言，v2系列模型在搜索相关性、效率和推理速度上均优于v1系列。不同数据集上的具体优劣可能有所差异。

概述

• 论文: Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers
• 微调示例: opensearch-sparse-model-tuning-sample

这是一个学习型稀疏检索模型。它将文档编码为30522维的稀疏向量。对于查询，仅使用分词器和权重查找表生成稀疏向量。非零维度索引对应词汇表中的词元，权重表示词元的重要性。相似度分数即查询/文档稀疏向量的内积。

训练数据集包括：MS MARCO、eli5_question_answer、squad_pairs、WikiAnswers、yahoo_answers_title_question、gooaq_pairs、stackexchange_duplicate_questions_body_body、wikihow、S2ORC_title_abstract、stackexchange_duplicate_questions_title-body_title-body、yahoo_answers_question_answer、searchQA_top5_snippets、stackexchange_duplicate_questions_title_title、yahoo_answers_title_answer。

OpenSearch神经稀疏特性支持基于Lucene倒排索引的学习型稀疏检索。链接：https://opensearch.org/docs/latest/query-dsl/specialized/neural-sparse/。可通过OpenSearch高级API进行索引和搜索。

使用方式（HuggingFace）

本模型设计运行于OpenSearch集群内，但也可通过HuggingFace模型API在集群外使用。

# 代码示例详见英文版，此处保持格式

上述代码展示了神经稀疏搜索的示例。尽管原始查询与文档无重叠词元，但该模型仍能实现良好匹配。

详细搜索相关性

许可证

本项目采用Apache v2.0许可证。

版权声明

版权归OpenSearch贡献者所有。详见NOTICE。