语言:

• 英语 标签:
• 检索
• 文档扩展
• 翻译 小部件示例:
• 文本: "科学头脑间的交流对于曼哈顿计划成功的重要性不亚于科学才智本身。原子研究者和工程师们辉煌成就上唯一的阴霾，是其成功真正意味着什么——数十万无辜生命的湮灭。" 示例标题: "msmarco-passage"
• 文本: "0-60加速时间 - 0-60 | 0至60加速及1/4英里成绩 | 零到六十汽车评测。" 示例标题: "msmarco-passage-v2"
• 文本: "一小群政客坚信，萨达姆·侯赛因在第一次海湾战争后仍掌权的事实向世界传递了软弱的信号，这种信号会招致攻击和恐怖主义。2000年与乔治·布什共同执政后，特别是在9/11袭击后，他们利用恐怖袭击以此为借口发动对伊战争，并夸大其大规模杀伤性武器发展的威胁。美国的军事实力与萨达姆政权的残暴使他们误以为军事和政治胜利将相对容易。" 示例标题: "antique" 数据集:
• irds:msmarco-passage 库名称: transformers

基于t5-base并在MS MARCO上训练的Doc2Query模型。此版本为原作者发布的检查点的转换版，采用pytorch格式，可直接用于pyterrier_doc2query。

创建转换器:

import pyterrier as pt
pt.init()
from pyterrier_doc2query import Doc2Query
doc2query = Doc2Query('macavaney/doc2query-t5-base-msmarco')

文档转换

import pandas as pd
doc2query(pd.DataFrame([
  {'docno': '0', 'text': '你好Terrier！'},
  {'docno': '1', 'text': 'Doc2Query通过潜在相关查询扩展原始查询。'},
]))
# docno                                                text                                           querygen
#    0                                      你好Terrier！  你好terrier 什么是terrier犬 terrier的品种有哪些...
#    1  Doc2Query通过潜在相关查询扩展原始查询。  doc2query能否扩展查询？什么是doc2query扩展技术 doc2query如何...

索引转换后的文档

doc2query.append = True # 将querygen附加到原文
indexer = pt.IterDictIndexer('./my_index', fields=['text'])
pipeline = doc2query >> indexer
pipeline.index([
  {'docno': '0', 'text': '你好Terrier！'},
  {'docno': '1', 'text': 'Doc2Query通过潜在相关查询扩展原始查询。'},
])

扩展并索引数据集

dataset = pt.get_dataset('irds:vaswani')
pipeline.index(dataset.get_corpus_iter())

参考文献

• [Nogueira20]: Rodrigo Nogueira与Jimmy Lin. 从doc2query到docTTTTTquery. https://cs.uwaterloo.ca/~jimmylin/publications/Nogueira_Lin_2019_docTTTTTquery-v2.pdf
• [Macdonald20]: Craig Macdonald, Nicola Tonellotto. 使用PyTerrier进行信息检索的声明式实验. 发表于ICTIR 2020会议. https://arxiv.org/abs/2007.14271