许可证: cc-by-4.0
评估指标:

• bleu4
• meteor
• rouge-l
• bertscore
• moverscore
  语言: 英语
  数据集:
• lmqg/qg_squad
  流水线标签: 文本到文本生成
  标签:
• 问题生成
• 答案抽取

交互示例:

• 文本: "生成问题: 碧昂丝 进一步扩展了她的演艺事业，在2008年的音乐传记片《Cadillac Records》中饰演蓝调歌手埃塔·詹姆斯。"
  示例标题: "问题生成示例1"
• 文本: "生成问题: 碧昂丝进一步扩展了她的演艺事业，在2008年的音乐传记片中饰演蓝调歌手 埃塔·詹姆斯 ，《Cadillac Records》。"
  示例标题: "问题生成示例2"
• 文本: "生成问题: 碧昂丝进一步扩展了她的演艺事业，在2008年的音乐传记片中饰演蓝调歌手埃塔·詹姆斯， 《Cadillac Records》 。"
  示例标题: "问题生成示例3"
• 文本: "抽取答案: 碧昂丝进一步扩展了她的演艺事业，在2008年的音乐传记片《Cadillac Records》中饰演蓝调歌手埃塔·詹姆斯。 她在片中的表现获得了评论家的赞誉，并因此获得了多个提名，包括卫星奖最佳女配角提名和NAACP形象奖杰出女配角提名。"
  示例标题: "答案抽取示例1"
• 文本: "抽取答案: 碧昂丝进一步扩展了她的演艺事业，在2008年的音乐传记片《Cadillac Records》中饰演蓝调歌手埃塔·詹姆斯。 她在片中的表现获得了评论家的赞誉，并因此获得了多个提名，包括卫星奖最佳女配角提名和NAACP形象奖杰出女配角提名。"
  示例标题: "答案抽取示例2"

模型索引:

• 名称: lmqg/t5-base-squad-qg-ae
  结果:
  • 任务:
    名称: 文本到文本生成
    类型: text2text-generation
    数据集:
    名称: lmqg/qg_squad
    类型: default
    参数: default
    评估指标:
    • 名称: BLEU4 (问题生成)
      类型: bleu4_question_generation
      值: 26.01
    • 名称: ROUGE-L (问题生成)
      类型: rouge_l_question_generation
      值: 53.4
    • 名称: METEOR (问题生成)
      类型: meteor_question_generation
      值: 27.0
    • 名称: BERTScore (问题生成)
      类型: bertscore_question_generation
      值: 90.58
    • 名称: MoverScore (问题生成)
      类型: moverscore_question_generation
      值: 64.72
    • 名称: QAAlignedF1Score-BERTScore (问题与答案生成（含标准答案）)
      类型: qa_aligned_f1_score_bertscore_question_answer_generation_with_gold_answer
      值: 92.53
    • 名称: QAAlignedRecall-BERTScore (问题与答案生成（含标准答案）)
      类型: qa_aligned_recall_bertscore_question_answer_generation_with_gold_answer
      值: 92.74
    • 名称: QAAlignedPrecision-BERTScore (问题与答案生成（含标准答案）)
      类型: qa_aligned_precision_bertscore_question_answer_generation_with_gold_answer
      值: 92.35
    • 名称: QAAlignedF1Score-MoverScore (问题与答案生成（含标准答案）)
      类型: qa_aligned_f1_score_moverscore_question_answer_generation_with_gold_answer
      值: 64.23
    • 名称: QAAlignedRecall-MoverScore (问题与答案生成（含标准答案）)
      类型: qa_aligned_recall_moverscore_question_answer_generation_with_gold_answer
      值: 64.23
    • 名称: QAAlignedPrecision-MoverScore (问题与答案生成（含标准答案）)
      类型: qa_aligned_precision_moverscore_question_answer_generation_with_gold_answer
      值: 64.33
    • 名称: BLEU4 (答案抽取)
      类型: bleu4_answer_extraction
      值: 44.33
    • 名称: ROUGE-L (答案抽取)
      类型: rouge_l_answer_extraction
      值: 69.62
    • 名称: METEOR (答案抽取)
      类型: meteor_answer_extraction
      值: 43.94
    • 名称: BERTScore (答案抽取)
      类型: bertscore_answer_extraction
      值: 91.57
    • 名称: MoverScore (答案抽取)
      类型: moverscore_answer_extraction
      值: 82.16
    • 名称: AnswerF1Score (答案抽取)
      类型: answer_f1_score__answer_extraction
      值: 70.18
    • 名称: AnswerExactMatch (答案抽取)
      类型: answer_exact_match_answer_extraction
      值: 58.9

lmqg/t5-base-squad-qg-ae模型卡

该模型是基于t5-base进行微调的版本，用于在lmqg/qg_squad（数据集名称: default）上联合执行问题生成和答案抽取任务，通过lmqg实现。

概述

• 语言模型: t5-base
• 语言: 英语
• 训练数据: lmqg/qg_squad (default)
• 在线演示: https://autoqg.net/
• 代码库: https://github.com/asahi417/lm-question-generation
• 论文: https://arxiv.org/abs/2210.03992

使用方法

• 使用lmqg

from lmqg import TransformersQG  

# 初始化模型  
model = TransformersQG(language="en", model="lmqg/t5-base-squad-qg-ae")  

# 模型预测  
question_answer_pairs = model.generate_qa("威廉·特纳是一位擅长水彩风景画的英国画家")  

• 使用transformers

from transformers import pipeline  

pipe = pipeline("text2text-generation", "lmqg/t5-base-squad-qg-ae")  

# 答案抽取  
answer = pipe("生成问题: <hl> 碧昂丝 <hl> 进一步扩展了她的演艺事业，在2008年的音乐传记片《Cadillac Records》中饰演蓝调歌手埃塔·詹姆斯。")  

# 问题生成  
question = pipe("抽取答案: <hl> 碧昂丝进一步扩展了她的演艺事业，在2008年的音乐传记片《Cadillac Records》中饰演蓝调歌手埃塔·詹姆斯。<hl> 她在片中的表现获得了评论家的赞誉，并因此获得了多个提名，包括卫星奖最佳女配角提名和NAACP形象奖杰出女配角提名。")  

评估

• 问题生成指标: 原始指标文件

• 问题与答案生成指标: 原始指标文件

• 答案抽取指标: 原始指标文件

训练超参数

微调过程中使用的超参数如下:

• 数据集路径: lmqg/qg_squad
• 数据集名称: default
• 输入类型: ['paragraph_answer', 'paragraph_sentence']
• 输出类型: ['question', 'answer']
• 前缀类型: ['qg', 'ae']
• 模型: t5-base
• 最大长度: 512
• 输出最大长度: 32
• 训练轮次: 6
• 批量大小: 32
• 学习率: 0.0001
• 是否使用FP16: 否
• 随机种子: 1
• 梯度累积步数: 4
• 标签平滑: 0.15

完整配置详见微调配置文件。

引用

@inproceedings{ushio-etal-2022-generative,  
    title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",  
    author = "Ushio, Asahi  and  
        Alva-Manchego, Fernando  and  
        Camacho-Collados, Jose",  
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",  
    month = dec,  
    year = "2022",  
    address = "Abu Dhabi, U.A.E.",  
    publisher = "Association for Computational Linguistics",  
}