许可证：cc-by-4.0
评估指标：

• bleu4
• meteor
• rouge-l
• bertscore
• moverscore
  语言：日语
  数据集：
• lmqg/qg_jaquad
  流水线标签：文本生成文本
  标签：
• 问题生成
• 答案抽取

示例部件：

• 文本："生成问题：索菲虽出身贵族但非王族，与哈布斯堡家族皇位继承人弗朗茨·斐迪南的婚姻属于贵贱通婚。皇帝弗朗茨·约瑟夫以两人后代不得继承皇位为条件批准了这桩婚事。原定视察的6月28日是两人第14个结婚纪念日。"
  示例标题："问题生成示例1"
• 文本："生成问题：《小熊维尼》的故事最初于1925年12月24日作为短篇作品发表在《晚间新闻》报的圣诞特刊上。这是《小熊维尼》第一章的内容，此次插图由J.H.道德绘制。随后完成10篇故事和插图，在正式出版前，《屹耳的生日》章节于1926年8月刊登于《皇家杂志》，同年10月9日发表在《纽约晚间邮报》，10月14日在伦敦（梅休因出版社）、21日在纽约（达顿出版社）出版了《小熊维尼》。由于前作《当我们很小的时候》已取得巨大成功，英国首印量达到前作的7倍3.5万册。美国市场同年年底前也售出15万册，但销量超越仍广受欢迎的前作仍需数年时间。"
  示例标题："问题生成示例2"
• 文本："生成问题：维米尔作品条目记述17世纪荷兰画家约翰内斯·维米尔的作品。维米尔存世画作包括争议作品仅30余幅，均为油画，无版画、草图、素描留存。下文收录37幅作品基本信息（含部分争议作品）并简述，排序及推定创作年代依据《"维米尔与其时代展"图录》。日语作品标题参考该图录及《"维米尔展"图录》《维米尔生平与作品》。为便于阅读分为"1650年代作品""1660年代作品""1670年代作品"三节，但维米尔许多作品创作年代不明，推定年代存在学界差异。"
  示例标题："问题生成示例3"
• 文本："抽取答案：《小熊维尼》的故事最初于1925年12月24日作为短篇作品发表在《晚间新闻》报的圣诞特刊上。这是《小熊维尼》第一章的内容，此次插图由J.H.道德绘制。随后完成10篇故事和插图，在正式出版前，《屹耳的生日》章节于1926年8月刊登于《皇家杂志》，同年10月9日发表在《纽约晚间邮报》，10月14日在伦敦（梅休因出版社）、21日在纽约（达顿出版社）出版了《小熊维尼》。由于前作《当我们很小的时候》已取得巨大成功，英国首印量达到前作的7倍3.5万册。美国市场同年年底前也售出15万册，但销量超越仍广受欢迎的前作仍需数年时间。"
  示例标题："答案抽取示例1"
• 文本："抽取答案：维米尔作品条目记述17世纪荷兰画家约翰内斯·维米尔的作品。维米尔存世画作包括争议作品仅30余幅。所有存世作品均为油画，无版画、草图、素描留存。下文收录37幅作品基本信息（含部分争议作品）并简述。排序及推定创作年代依据《"维米尔与其时代展"图录》。日语作品标题参考该图录及《"维米尔展"图录》《维米尔生平与作品》。为便于阅读分为"1650年代作品""1660年代作品""1670年代作品"三节，但维米尔许多作品创作年代不明，推定年代存在学界差异。"
  示例标题："答案抽取示例2"

模型索引：

• 名称：lmqg/mt5-small-jaquad-qg-ae
  结果：
  • 任务： 名称：文本生成文本
    类型：文本生成文本
    数据集： 名称：lmqg/qg_jaquad
    类型：默认
    参数：默认
    指标：
    • 名称：BLEU4（问题生成）
      类型：bleu4_question_generation
      值：31.55
    • 名称：ROUGE-L（问题生成）
      类型：rouge_l_question_generation
      值：52.58
    • 名称：METEOR（问题生成）
      类型：meteor_question_generation
      值：29.64
    • 名称：BERTScore（问题生成）
      类型：bertscore_question_generation
      值：81.64
    • 名称：MoverScore（问题生成）
      类型：moverscore_question_generation
      值：59.42
    • 名称：QAAlignedF1Score-BERTScore（问题与答案生成（含标准答案））
      类型：qa_aligned_f1_score_bertscore_question_answer_generation_with_gold_answer
      值：80.51
    • 名称：QAAlignedRecall-BERTScore（问题与答案生成（含标准答案））
      类型：qa_aligned_recall_bertscore_question_answer_generation_with_gold_answer
      值：80.51
    • 名称：QAAlignedPrecision-BERTScore（问题与答案生成（含标准答案））
      类型：qa_aligned_precision_bertscore_question_answer_generation_with_gold_answer
      值：80.51
    • 名称：QAAlignedF1Score-MoverScore（问题与答案生成（含标准答案））
      类型：qa_aligned_f1_score_moverscore_question_answer_generation_with_gold_answer
      值：56.28
    • 名称：QAAlignedRecall-MoverScore（问题与答案生成（含标准答案））
      类型：qa_aligned_recall_moverscore_question_answer_generation_with_gold_answer
      值：56.28
    • 名称：QAAlignedPrecision-MoverScore（问题与答案生成（含标准答案））
      类型：qa_aligned_precision_moverscore_question_answer_generation_with_gold_answer
      值：56.28
    • 名称：BLEU4（答案抽取）
      类型：bleu4_answer_extraction
      值：27.55
    • 名称：ROUGE-L（答案抽取）
      类型：rouge_l_answer_extraction
      值：36.63
    • 名称：METEOR（答案抽取）
      类型：meteor_answer_extraction
      值：26.22
    • 名称：BERTScore（答案抽取）
      类型：bertscore_answer_extraction
      值：78.12
    • 名称：MoverScore（答案抽取）
      类型：moverscore_answer_extraction
      值：65.68
    • 名称：AnswerF1Score（答案抽取）
      类型：answer_f1_score__answer_extraction
      值：29.55
    • 名称：AnswerExactMatch（答案抽取）
      类型：answer_exact_match_answer_extraction
      值：29.55

lmqg/mt5-small-jaquad-qg-ae模型卡片

该模型是基于google/mt5-small在lmqg/qg_jaquad（数据集名称：默认）上通过lmqg联合微调的问题生成与答案抽取模型。

概览

• 语言模型: google/mt5-small
• 语言: 日语
• 训练数据: lmqg/qg_jaquad（默认）
• 在线演示: https://autoqg.net/
• 代码库: https://github.com/asahi417/lm-question-generation
• 论文: https://arxiv.org/abs/2210.03992

使用方式

• 通过lmqg

from lmqg import TransformersQG  

# 初始化模型  
model = TransformersQG(language="ja", model="lmqg/mt5-small-jaquad-qg-ae")  

# 模型预测  
question_answer_pairs = model.generate_qa("维米尔作品条目记述17世纪荷兰画家约翰内斯·维米尔的作品。维米尔存世画作包括争议作品仅30余幅。所有存世作品均为油画，无版画、草图、素描留存。")  

• 通过transformers

from transformers import pipeline  

pipe = pipeline("text2text-generation", "lmqg/mt5-small-jaquad-qg-ae")  

# 答案抽取  
answer = pipe("生成问题：索菲虽出身贵族但非王族，与哈布斯堡家族皇位继承人弗朗茨·斐迪南的婚姻属于贵贱通婚。皇帝弗朗茨·约瑟夫以两人后代不得继承皇位为条件批准了这桩婚事。原定视察的<hl>6月28日<hl>是两人第14个结婚纪念日。")  

# 问题生成  
question = pipe("抽取答案：《小熊维尼》的故事最初于1925年12月24日作为短篇作品发表在《晚间新闻》报的圣诞特刊上。这是《小熊维尼》第一章的内容，此次插图由J.H.道德绘制。<hl>由于前作《当我们很小的时候》已取得巨大成功，英国首印量达到前作的7倍3.5万册。<hl>美国市场同年年底前也售出15万册，但销量超越仍广受欢迎的前作仍需数年时间。")  

评估

• 问题生成指标: 原始指标文件

• 问题与答案生成指标: 原始指标文件

• 答案抽取指标: 原始指标文件

训练超参数

训练使用的超参数如下：

• 数据集路径：lmqg/qg_jaquad
• 数据集名称：默认
• 输入类型：['段落_答案', '段落_句子']
• 输出类型：['问题', '答案']
• 前缀类型：['qg', 'ae']
• 模型：google/mt5-small
• 最大长度：512
• 输出最大长度：32
• 训练轮次：24
• 批次大小：64
• 学习率：0.0005
• 混合精度训练：关闭
• 随机种子：1
• 梯度累积步数：1
• 标签平滑：0.15

完整配置详见微调配置文件。

引用

@inproceedings{ushio-etal-2022-generative,  
    title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",  
    author = "Ushio, Asahi  and  
        Alva-Manchego, Fernando  and  
        Camacho-Collados, Jose",  
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",  
    month = dec,  
    year = "2022",  
    address = "Abu Dhabi, U.A.E.",  
    publisher = "Association for Computational Linguistics",  
}