许可证:cc-by-4.0
评估指标:
- bleu4
- meteor
- rouge-l
- bertscore
- moverscore
语言:英语
数据集:
- lmqg/qg_squad
任务标签:文本到文本生成
标签:
- 问题生成
示例展示:
- 文本:"生成问题:碧昂丝进一步扩展了她的演艺事业,在2008年的音乐传记片《Cadillac Records》中饰演蓝调歌手埃塔·詹姆斯。"
示例标题:"问题生成示例1"
- 文本:"生成问题:碧昂丝进一步扩展了她的演艺事业,在2008年的音乐传记片中饰演蓝调歌手埃塔·詹姆斯,《Cadillac Records》。"
示例标题:"问题生成示例2"
- 文本:"生成问题:碧昂丝进一步扩展了她的演艺事业,在2008年的音乐传记片中饰演蓝调歌手埃塔·詹姆斯,《Cadillac Records》。"
示例标题:"问题生成示例3"
模型索引:
- 名称:lmqg/t5-large-squad-qg
结果:
- 任务:
名称:文本到文本生成
类型:text2text-generation
数据集:
名称:lmqg/qg_squad
类型:默认
参数:默认
评估指标:
- 名称:BLEU4(问题生成)
类型:bleu4_question_generation
值:27.21
- 名称:ROUGE-L(问题生成)
类型:rouge_l_question_generation
值:54.13
- 名称:METEOR(问题生成)
类型:meteor_question_generation
值:27.7
- 名称:BERTScore(问题生成)
类型:bertscore_question_generation
值:91.0
- 名称:MoverScore(问题生成)
类型:moverscore_question_generation
值:65.29
- 名称:QAAlignedF1Score-BERTScore(问题与答案生成(含黄金答案))[黄金答案]
类型:qa_aligned_f1_score_bertscore_question_answer_generation_with_gold_answer_gold_answer
值:95.57
- 名称:QAAlignedRecall-BERTScore(问题与答案生成(含黄金答案))[黄金答案]
类型:qa_aligned_recall_bertscore_question_answer_generation_with_gold_answer_gold_answer
值:95.51
- 名称:QAAlignedPrecision-BERTScore(问题与答案生成(含黄金答案))[黄金答案]
类型:qa_aligned_precision_bertscore_question_answer_generation_with_gold_answer_gold_answer
值:95.62
- 名称:QAAlignedF1Score-MoverScore(问题与答案生成(含黄金答案))[黄金答案]
类型:qa_aligned_f1_score_moverscore_question_answer_generation_with_gold_answer_gold_answer
值:71.1
- 名称:QAAlignedRecall-MoverScore(问题与答案生成(含黄金答案))[黄金答案]
类型:qa_aligned_recall_moverscore_question_answer_generation_with_gold_answer_gold_answer
值:70.8
- 名称:QAAlignedPrecision-MoverScore(问题与答案生成(含黄金答案))[黄金答案]
类型:qa_aligned_precision_moverscore_question_answer_generation_with_gold_answer_gold_answer
值:71.41
- 名称:QAAlignedF1Score-BERTScore(问题与答案生成)[黄金答案]
类型:qa_aligned_f1_score_bertscore_question_answer_generation_gold_answer
值:92.97
- 名称:QAAlignedRecall-BERTScore(问题与答案生成)[黄金答案]
类型:qa_aligned_recall_bertscore_question_answer_generation_gold_answer
值:93.14
- 名称:QAAlignedPrecision-BERTScore(问题与答案生成)[黄金答案]
类型:qa_aligned_precision_bertscore_question_answer_generation_gold_answer
值:92.83
- 名称:QAAlignedF1Score-MoverScore(问题与答案生成)[黄金答案]
类型:qa_aligned_f1_score_moverscore_question_answer_generation_gold_answer
值:64.72
- 名称:QAAlignedRecall-MoverScore(问题与答案生成)[黄金答案]
类型:qa_aligned_recall_moverscore_question_answer_generation_gold_answer
值:64.66
- 名称:QAAlignedPrecision-MoverScore(问题与答案生成)[黄金答案]
类型:qa_aligned_precision_moverscore_question_answer_generation_gold_answer
值:64.87
(后续内容省略部分重复的评估指标和数据集结果以保持简洁)
lmqg/t5-large-squad-qg
模型卡片
此模型是基于t5-large微调的版本,用于在lmqg/qg_squad(数据集名称:默认)上进行问题生成任务,通过lmqg
实现。
概述
使用方式
from lmqg import TransformersQG
model = TransformersQG(language="en", model="lmqg/t5-large-squad-qg")
questions = model.generate_q(list_context="威廉·特纳是一位擅长水彩风景画的英国画家", list_answer="威廉·特纳")
from transformers import pipeline
pipe = pipeline("text2text-generation", "lmqg/t5-large-squad-qg")
output = pipe("生成问题:<hl>碧昂丝<hl>进一步扩展了她的演艺事业,在2008年的音乐传记片《Cadillac Records》中饰演蓝调歌手埃塔·詹姆斯。")
评估
(后续评估表格和训练超参数部分内容省略,保持核心信息完整)
引用
@inproceedings{ushio-etal-2022-generative,
title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
author = "Ushio, Asahi and
Alva-Manchego, Fernando and
Camacho-Collados, Jose",
booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
month = dec,
year = "2022",
address = "Abu Dhabi, U.A.E.",
publisher = "Association for Computational Linguistics",
}