许可证: cc-by-4.0
评估指标:
- bleu4
- meteor
- rouge-l
- bertscore
- moverscore
语言: 英语
数据集:
- lmqg/qg_squad
管道标签: 文本到文本生成
标签:
- 问题生成
小部件示例:
- 文本: "生成问题: 碧昂丝 进一步扩展了她的演艺事业,在2008年的音乐传记片《卡迪拉克唱片》中饰演蓝调歌手埃塔·詹姆斯。"
示例标题: "问题生成示例1"
- 文本: "生成问题: 碧昂丝进一步扩展了她的演艺事业,在2008年的音乐传记片《卡迪拉克唱片》中饰演蓝调歌手 埃塔·詹姆斯 。"
示例标题: "问题生成示例2"
- 文本: "生成问题: 碧昂丝进一步扩展了她的演艺事业,在2008年的音乐传记片中饰演蓝调歌手埃塔·詹姆斯,电影名为 卡迪拉克唱片 。"
示例标题: "问题生成示例3"
模型索引:
- 名称: lmqg/t5-small-squad-qg
结果:
- 任务:
名称: 文本到文本生成
类型: 文本到文本生成
数据集:
名称: lmqg/qg_squad
类型: 默认
参数: 默认
评估指标:
- 名称: BLEU4 (问题生成)
类型: bleu4_question_generation
值: 24.4
- 名称: ROUGE-L (问题生成)
类型: rouge_l_question_generation
值: 51.43
- 名称: METEOR (问题生成)
类型: meteor_question_generation
值: 25.84
- 名称: BERTScore (问题生成)
类型: bertscore_question_generation
值: 90.2
- 名称: MoverScore (问题生成)
类型: moverscore_question_generation
值: 63.89
- 名称: QAAlignedF1Score-BERTScore (问题与答案生成(含标准答案)) [标准答案]
类型: qa_aligned_f1_score_bertscore_question_answer_generation_with_gold_answer_gold_answer
值: 95.14
- 名称: QAAlignedRecall-BERTScore (问题与答案生成(含标准答案)) [标准答案]
类型: qa_aligned_recall_bertscore_question_answer_generation_with_gold_answer_gold_answer
值: 95.09
- 名称: QAAlignedPrecision-BERTScore (问题与答案生成(含标准答案)) [标准答案]
类型: qa_aligned_precision_bertscore_question_answer_generation_with_gold_answer_gold_answer
值: 95.19
- 名称: QAAlignedF1Score-MoverScore (问题与答案生成(含标准答案)) [标准答案]
类型: qa_aligned_f1_score_moverscore_question_answer_generation_with_gold_answer_gold_answer
值: 69.79
- 名称: QAAlignedRecall-MoverScore (问题与答案生成(含标准答案)) [标准答案]
类型: qa_aligned_recall_moverscore_question_answer_generation_with_gold_answer_gold_answer
值: 69.51
- 名称: QAAlignedPrecision-MoverScore (问题与答案生成(含标准答案)) [标准答案]
类型: qa_aligned_precision_moverscore_question_answer_generation_with_gold_answer_gold_answer
值: 70.09
- 名称: QAAlignedF1Score-BERTScore (问题与答案生成) [标准答案]
类型: qa_aligned_f1_score_bertscore_question_answer_generation_gold_answer
值: 92.26
- 名称: QAAlignedRecall-BERTScore (问题与答案生成) [标准答案]
类型: qa_aligned_recall_bertscore_question_answer_generation_gold_answer
值: 92.48
- 名称: QAAlignedPrecision-BERTScore (问题与答案生成) [标准答案]
类型: qa_aligned_precision_bertscore_question_answer_generation_gold_answer
值: 92.07
- 名称: QAAlignedF1Score-MoverScore (问题与答案生成) [标准答案]
类型: qa_aligned_f1_score_moverscore_question_answer_generation_gold_answer
值: 63.83
- 名称: QAAlignedRecall-MoverScore (问题与答案生成) [标准答案]
类型: qa_aligned_recall_moverscore_question_answer_generation_gold_answer
值: 63.82
- 名称: QAAlignedPrecision-MoverScore (问题与答案生成) [标准答案]
类型: qa_aligned_precision_moverscore_question_answer_generation_gold_answer
值: 63.92
lmqg/t5-small-squad-qg
模型卡片
此模型是基于 t5-small 微调的版本,用于在 lmqg/qg_squad(数据集名称:默认)上进行问题生成任务,通过 lmqg
实现。
概述
使用方法
from lmqg import TransformersQG
model = TransformersQG(language="en", model="lmqg/t5-small-squad-qg")
questions = model.generate_q(list_context="威廉·特纳是一位专门从事水彩风景画的英国画家", list_answer="威廉·特纳")
from transformers import pipeline
pipe = pipeline("text2text-generation", "lmqg/t5-small-squad-qg")
output = pipe("生成问题: <hl> 碧昂丝 <hl> 进一步扩展了她的演艺事业,在2008年的音乐传记片《卡迪拉克唱片》中饰演蓝调歌手埃塔·詹姆斯。")
评估
- 问题与答案生成指标(参考答案): 每个问题基于标准答案生成。原始指标文件
| 数据集 | 类型 | BERTScore | Bleu_4 | METEOR | MoverScore | ROUGE_L | 链接 |
|:--------|:-----|---------:|