许可协议：apache-2.0
库名称：transformers
流水线标签：文本生成

推理参数：
采样：开启
最大长度：64
前k候选：10
温度系数：1
返回序列数：10

示例输入：

• 文本：为以下段落生成日语问题：Transformer（机器学习模型）是一种采用自注意力机制的深度学习模型，能差异化权衡输入数据（包含递归输出）各组成部分的重要性。
• 文本：为以下段落生成阿拉伯语问题：Transformer（机器学习模型）是一种采用自注意力机制的深度学习模型，能差异化权衡输入数据（包含递归输出）各组成部分的重要性。

模型描述

基于XOR QA数据训练的mT5-large查询生成模型。

应用于论文：
《通过查询生成弥合可微分搜索索引与检索之间的鸿沟》
及
《利用查询生成增强跨语言稠密检索的段落表示》

使用方法

from transformers import pipeline

语言映射字典 = dict(
    ar='阿拉伯语',
    bn='孟加拉语',
    fi='芬兰语',
    ja='日语',
    ko='韩语',
    ru='俄语',
    te='泰卢固语'
)
提示模板 = '为以下段落生成{lang}问题：{title} {passage}'

标题 = 'Transformer（机器学习模型）'
段落 = '这是一种采用自注意力机制的深度学习模型，能差异化权衡输入数据（包含递归输出）各组成部分的重要性。'

模型路径 = 'ielabgroup/xor-tydi-docTquery-mt5-large'
输入文本 = 提示模板.format_map({'lang': 语言映射字典['ja'],
                                'title': 标题,
                                'passage': 段落})

生成器 = pipeline(model=模型路径,
                 task='text2text-generation',
                 device="cuda:0")

生成结果 = 生成器(输入文本,
                do_sample=True,
                max_length=64,
                num_return_sequences=10)

for 序号, 结果 in enumerate(生成结果):
    print(f'{序号 + 1}. {result["generated_text"]}')

引用信息

@article{zhuang2022bridging,
  title={通过查询生成弥合可微分搜索索引与检索之间的鸿沟},
  author={庄胜尧 and 任厚兴 and 寿林钧 and 裴健 and 龚鸣 and Guido Zuccon and 蒋达新},
  journal={arXiv预印本 arXiv:2206.10128},
  year={2022}
}

@inproceedings{zhuang2023augmenting,
	title={利用查询生成增强跨语言稠密检索的段落表示},
	author={庄胜尧 and 寿林钧 and Guido Zuccon},
	booktitle={第46届国际ACM SIGIR信息检索研究与发展会议论文集},
	year={2023}
}