Bert Multilingual Passage Reranking Msmarco

由 amberoad 开发

支持超过100种语言的多语言段落重排序模型，用于改进搜索引擎结果的相关性排序

文本嵌入

支持多种语言

开源协议:Apache-2.0 #多语言搜索优化 #段落相关性评分 #MSMARCO微调

下载量 4,610

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

该模型基于BERT架构，用于计算查询与段落的相关性分数，可显著提升搜索引擎结果的质量。支持多语言处理，适用于全球化的搜索应用场景。

模型特点

多语言支持

支持超过100种语言，包括主要欧洲和亚洲语言

高相关性提升

可将搜索引擎结果的相关性提升高达100%

Elasticsearch集成

可直接与Elasticsearch集成，无需额外编码

高效推理

每个查询约300毫秒的处理速度，适合实时应用

模型能力

多语言文本理解

查询-段落相关性评分

搜索结果重排序

跨语言信息检索

使用案例

搜索引擎优化

企业搜索引擎改进

用于改进企业内部文档搜索的相关性

多语言BERT段落重排序模型 🔃 🌍

模型描述

输入: 支持超过100种语言。查看支持的语言列表获取所有可用语言。

用途: 该模块接收搜索查询[1]和段落[2]，并计算段落是否匹配查询。
可用作Elasticsearch结果的改进，将相关性提升高达100%。

架构: 在BERT之上有一个密集连接的神经网络，它以768维的[CLS]标记作为输入并提供输出(Arxiv)。

输出: 仅为一个介于-10和10之间的单一值。匹配更好的查询和段落对往往有更高的分数。

预期用途与限制

查询[1]和段落[2]都必须适合512个标记。
通常您希望重新排序前几十个搜索结果时，请记住大约300毫秒/查询的推理时间。

使用方法

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("amberoad/bert-multilingual-passage-reranking-msmarco")

model = AutoModelForSequenceClassification.from_pretrained("amberoad/bert-multilingual-passage-reranking-msmarco")

该模型可作为NBoost库中的直接替代品使用。
通过这种方式，您可以直接改进Elasticsearch结果而无需任何编码。

训练数据

该模型使用Microsoft MS Marco数据集进行训练。该训练数据集包含约4亿个查询、相关和非相关段落的元组。用于训练和评估的所有数据集列在此表格中。用于训练的数据集称为Train Triples Large，而评估则在Top 1000 Dev上进行。开发数据集中共有6,900个查询，每个查询映射到使用BM25从MS MARCO语料库中检索的前1,000个段落。

训练过程

训练方式与此README中所述相同。参见他们在Arxiv上的优秀论文。

我们将BERT模型从仅英语更改为Google的默认多语言未区分大小写BERT模型。

训练进行了40万步。这在TPU V3-8上耗时12小时。

评估结果

在英语Bing查询数据集中，我们看到与仅英语模型几乎相似的性能。尽管训练数据仅为英语，但在私人数据上的内部测试显示，在德语中的准确性远高于所有其他可用模型。

微调模型	评估集	搜索提升	GPU速度
`amberoad/Multilingual-uncased-MSMARCO` (本模型)	bing查询	+61% _{^{(0.29 vs 0.18)}}	~300 毫秒/查询
`nboost/pt-tinybert-msmarco`	bing查询	+45% _{^{(0.26 vs 0.18)}}	~50毫秒/查询
`nboost/pt-bert-base-uncased-msmarco`	bing查询	+62% _{^{(0.29 vs 0.18)}}	~300 毫秒/查询
`nboost/pt-bert-large-msmarco`	bing查询	+77% _{^{(0.32 vs 0.18)}}	-
`nboost/pt-biobert-base-msmarco`	生物医学	+66% _{^{(0.17 vs 0.10)}}	~300 毫秒/查询