许可证:cc-by-4.0
评估指标:
- bleu4
- meteor
- rouge-l
- bertscore
- moverscore
语言:英文
数据集:
- lmqg/qag_squad
流水线标签:文本到文本生成
标签:
- 问题与答案生成
小部件示例:
- 文本:"生成问题与答案:碧昂丝进一步扩展了她的演艺事业,在2008年的音乐传记片《卡迪拉克唱片》中饰演蓝调歌手埃塔·詹姆斯。"
示例标题:"问题与答案生成示例1"
模型索引:
- 名称:lmqg/t5-base-squad-qag
结果:
- 任务:
名称:文本到文本生成
类型:text2text-generation
数据集:
名称:lmqg/qag_squad
类型:默认
参数:默认
评估指标:
- 名称:QAAlignedF1Score-BERTScore(问题与答案生成)
类型:qa_aligned_f1_score_bertscore_question_answer_generation
值:93.34
- 名称:QAAlignedRecall-BERTScore(问题与答案生成)
类型:qa_aligned_recall_bertscore_question_answer_generation
值:93.51
- 名称:QAAlignedPrecision-BERTScore(问题与答案生成)
类型:qa_aligned_precision_bertscore_question_answer_generation
值:93.18
- 名称:QAAlignedF1Score-MoverScore(问题与答案生成)
类型:qa_aligned_f1_score_moverscore_question_answer_generation
值:65.78
- 名称:QAAlignedRecall-MoverScore(问题与答案生成)
类型:qa_aligned_recall_moverscore_question_answer_generation
值:65.68
- 名称:QAAlignedPrecision-MoverScore(问题与答案生成)
类型:qa_aligned_precision_moverscore_question_answer_generation
值:65.96
lmqg/t5-base-squad-qag
模型卡
该模型是基于t5-base微调的版本,用于在lmqg/qag_squad(数据集名称:默认)上进行问题与答案对生成任务,通过lmqg
实现。
概述
使用方法
from lmqg import TransformersQG
model = TransformersQG(language="en", model="lmqg/t5-base-squad-qag")
question_answer_pairs = model.generate_qa("威廉·特纳是一位擅长水彩风景画的英国画家")
from transformers import pipeline
pipe = pipeline("text2text-generation", "lmqg/t5-base-squad-qag")
output = pipe("生成问题与答案:碧昂丝在2008年的音乐传记片《卡迪拉克唱片》中饰演蓝调歌手埃塔·詹姆斯,进一步扩展了她的演艺事业。")
评估
训练超参数
微调过程中使用的超参数如下:
- 数据集路径:lmqg/qag_squad
- 数据集名称:默认
- 输入类型:['段落']
- 输出类型:['问题与答案']
- 前缀类型:['qag']
- 模型:t5-base
- 最大长度:512
- 输出最大长度:256
- 训练轮数:17
- 批次大小:8
- 学习率:0.0001
- 是否使用FP16:否
- 随机种子:1
- 梯度累积步数:8
- 标签平滑:0.15
完整配置可参见微调配置文件。
引用
@inproceedings{ushio-etal-2022-generative,
title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
author = "Ushio, Asahi and
Alva-Manchego, Fernando and
Camacho-Collados, Jose",
booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
month = dec,
year = "2022",
address = "Abu Dhabi, U.A.E.",
publisher = "Association for Computational Linguistics",
}