语言: 中文 数据集:

• sentence-transformers/embedding-training-data 小部件示例:
• 文本: "Python是一种解释型、高级别、通用编程语言。Python的设计哲学强调代码可读性，显著特点是使用显著的空白符。其语言结构和面向对象方法旨在帮助程序员为小型和大型项目编写清晰、逻辑性强的代码。"

许可证: apache-2.0

doc2query/msmarco-t5-small-v1

这是一个基于T5的doc2query模型（也称为docT5query）。

它可用于：

• 文档扩展：为段落生成20-40个查询，并将段落与生成的查询一同索引到标准BM25索引（如Elasticsearch、OpenSearch或Lucene）中。生成的查询有助于缩小词汇搜索的词汇差距，因为它们包含同义词。此外，它还能重新加权词汇，使重要词汇即使出现频率低也能获得更高权重。我们在BEIR论文中展示了BM25+docT5query作为强大搜索引擎的效果。BEIR仓库中提供了使用docT5query与Pyserini的示例。
• 领域特定训练数据生成：可用于生成训练数据以学习嵌入模型。SBERT.net上展示了如何利用该模型为未标注文本集合生成（查询，文本）对，这些配对随后可用于训练强大的密集嵌入模型。

使用方法

from transformers import T5Tokenizer, T5ForConditionalGeneration

model_name = 'doc2query/msmarco-t5-small-v1'
tokenizer = T5Tokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

text = "Python是一种解释型、高级别、通用编程语言。Python的设计哲学强调代码可读性，显著特点是使用显著的空白符。其语言结构和面向对象方法旨在帮助程序员为小型和大型项目编写清晰、逻辑性强的代码。"

input_ids = tokenizer.encode(text, max_length=320, truncation=True, return_tensors='pt')
outputs = model.generate(
    input_ids=input_ids,
    max_length=64,
    do_sample=True,
    top_p=0.95,
    num_return_sequences=5)

print("原文:")
print(text)

print("\n生成查询:")
for i in range(len(outputs)):
    query = tokenizer.decode(outputs[i], skip_special_tokens=True)
    print(f'{i + 1}: {query}')

注意：model.generate()具有非确定性，每次运行会产生不同的查询。

训练过程

本模型基于google/t5-v1_1-small微调了31k训练步（约4个epoch，使用MS MARCO的50万训练对）。训练脚本参见本仓库中的train_script.py。

输入文本被截断至320个词片段，输出文本生成最多64个词片段。模型训练数据来自MS MARCO段落排序数据集的（查询，段落）对。