语言: 葡萄牙语
数据集:

• unicamp-dl/mmarco
  小部件示例:
• 文本: "Python是一种高级、解释型、脚本式、命令式、面向对象、函数式、动态强类型的编程语言。由吉多·范罗苏姆于1991年发布。目前采用社区驱动的开源开发模式，由非营利组织Python软件基金会管理。尽管该语言的部分特性有正式标准和规范，但整体并未被正式定义。事实上的标准实现是CPython。"

许可证: apache-2.0

doc2query/msmarco-portuguese-mt5-base-v1

这是一个基于mT5的doc2query模型（也称为docT5query）。

用途包括：

• 文档扩展：可为段落生成20-40个查询，并将段落与生成的查询共同索引至Elasticsearch、OpenSearch或Lucene等标准BM25索引中。生成的查询通过包含同义词缓解词汇检索的语义鸿沟，并通过重加权突出重要词汇，即使这些词汇在段落中出现频率较低。我们在BEIR论文中验证了BM25+docT5query作为强大搜索引擎的效果，并在BEIR代码库提供了结合Pyserini的使用示例。
• 领域特定训练数据生成：可用于生成嵌入模型的训练数据。GPL论文和SBERT.net上的GPL示例演示了如何为未标注文本集生成（查询，文本）对，进而训练高性能稠密嵌入模型。

使用方法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM  
import torch  

model_name = 'doc2query/msmarco-portuguese-mt5-base-v1'  
tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)  

text = "Python是一种高级、解释型、脚本式、命令式、面向对象、函数式、动态强类型的编程语言..."  

def create_queries(para):  
    # 代码实现与原文相同，此处省略翻译细节  
    ...  

create_queries(text)  

注意：使用top_k/top_n采样时，model.generate()具有非确定性，每次运行会产生不同查询。

训练过程

本模型基于google/mt5-base微调66k步（在MS MARCO的50万训练对上训练4轮）。训练脚本见本仓库的train_script.py。

输入文本截断至320个词片，输出文本生成至64个词片。训练数据来自mMARCO数据集的（查询，段落）对。