语言: 英文 数据集:

• sentence-transformers/embedding-training-data 小部件示例:
• 文本: "Python是一种解释型、高级通用编程语言。其设计哲学强调通过显著的空格使用提升代码可读性。语言结构和面向对象方法旨在帮助程序员为大小项目编写清晰、逻辑性强的代码。"

许可证: apache-2.0

doc2query/msmarco-t5-base-v1

这是基于T5的doc2query模型（亦称docT5query）。

用途包括：

• 文档扩展：可为段落生成20-40个查询，将段落与生成查询共同索引至Elasticsearch、OpenSearch或Lucene等标准BM25索引中。生成查询通过包含同义词弥补词汇检索的语义鸿沟，并通过重加权使重要词汇即使低频出现也能获得更高权重。我们在BEIR论文中验证了BM25+docT5query作为强大搜索引擎的效果，BEIR代码库提供了与Pyserini集成的使用示例。
• 领域专用训练数据生成：可用于生成嵌入模型的训练数据。SBERT.net展示了如何为未标注文本生成（查询，文本）对，进而训练高性能稠密嵌入模型。

使用方法

from transformers import T5Tokenizer, T5ForConditionalGeneration

model_name = 'doc2query/msmarco-t5-base-v1'
tokenizer = T5Tokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

text = "Python是一种解释型、高级通用编程语言。其设计哲学强调通过显著的空格使用提升代码可读性。语言结构和面向对象方法旨在帮助程序员为大小项目编写清晰、逻辑性强的代码。"

input_ids = tokenizer.encode(text, max_length=320, truncation=True, return_tensors='pt')
outputs = model.generate(
    input_ids=input_ids,
    max_length=64,
    do_sample=True,
    top_p=0.95,
    num_return_sequences=5)

print("原文:")
print(text)

print("\n生成查询:")
for i in range(len(outputs)):
    query = tokenizer.decode(outputs[i], skip_special_tokens=True)
    print(f'{i + 1}: {query}')

注意：model.generate()具有随机性，每次运行会产生不同查询。

训练过程

本模型基于google/t5-v1_1-base微调31k步（约4个epoch，数据来自MS MARCO的50万训练对）。训练脚本参见本仓库的train_script.py。

输入文本截断为320个词片段，输出文本生成上限为64个词片段。训练数据源自MS MARCO段落排序数据集的（查询，段落）对。