license: cc-by-4.0 metrics:

• bleu4
• meteor
• rouge-l
• bertscore
• moverscore language: ja datasets:
• lmqg/qg_jaquad pipeline_tag: text2text-generation tags:
• question generation widget:
• text: "索菲虽出身贵族但非王室成员，与哈布斯堡家族皇位继承人弗朗茨·斐迪南的婚姻属于贵贱通婚。皇帝弗朗茨·约瑟夫以两人所生子女不得继承皇位为条件批准了这桩婚事。原定视察的6月28日正是两人第十四个结婚纪念日。" example_title: "问题生成示例1"
• text: "《小熊维尼》的故事最初于1925年12月24日作为短篇作品刊登在《晚间新闻》报的圣诞特辑上。这是《小熊维尼》第一章内容，当期插画由J.H.道德绘制。后续完成十篇故事及插画后，在正式出版前，《屹耳的生日》章节先于1926年8月发表于《皇家杂志》，同年10月9日又刊登于《纽约晚间邮报》，最终作品于10月14日在伦敦（梅休因出版社）、21日在纽约（达顿出版社）同步发行。由于前作《当我们很小的时候》已取得巨大成功，英国首印量达到前作七倍的3.5万册。美国市场也在当年年底前售出15万册，但销量超越当时仍广受欢迎的前作仍需数年时间。" example_title: "问题生成示例2"
• text: "维米尔作品条目记述17世纪荷兰画家约翰内斯·维米尔的艺术创作。维米尔存世作品包括疑作在内仅有三十余件，均为油画，未留下版画、草图或素描等。下文收录37件作品基本信息（含部分疑作）并逐一简述，排序及推定创作年代依据《"维米尔与其时代展"图录》。日文作品标题参考前述图录及《"维米尔展"图录》《维米尔生平与作品》。为便于阅读分为"1650年代作品""1660年代作品""1670年代作品"三节，但维米尔多数作品创作年代不明，不同学者及文献对推定年代存在细微差异。" example_title: "问题生成示例3" model-index:
• name: lmqg/mt5-small-jaquad-qg results:
  • task: name: Text2text Generation type: text2text-generation dataset: name: lmqg/qg_jaquad type: default args: default metrics:
    • name: BLEU4 (问题生成) type: bleu4_question_generation value: 30.49
    • name: ROUGE-L (问题生成) type: rouge_l_question_generation value: 50.88
    • name: METEOR (问题生成) type: meteor_question_generation value: 29.03
    • name: BERTScore (问题生成) type: bertscore_question_generation value: 80.87
    • name: MoverScore (问题生成) type: moverscore_question_generation value: 58.67
    • name: QAAlignedF1Score-BERTScore (带标准答案的问题与答案生成) [标准答案] type: qa_aligned_f1_score_bertscore_question_answer_generation_with_gold_answer_gold_answer value: 86.07
    • name: QAAlignedRecall-BERTScore (带标准答案的问题与答案生成) [标准答案] type: qa_aligned_recall_bertscore_question_answer_generation_with_gold_answer_gold_answer value: 86.06
    • name: QAAlignedPrecision-BERTScore (带标准答案的问题与答案生成) [标准答案] type: qa_aligned_precision_bertscore_question_answer_generation_with_gold_answer_gold_answer value: 86.08
    • name: QAAlignedF1Score-MoverScore (带标准答案的问题与答案生成) [标准答案] type: qa_aligned_f1_score_moverscore_question_answer_generation_with_gold_answer_gold_answer value: 61.83
    • name: QAAlignedRecall-MoverScore (带标准答案的问题与答案生成) [标准答案] type: qa_aligned_recall_moverscore_question_answer_generation_with_gold_answer_gold_answer value: 61.81
    • name: QAAlignedPrecision-MoverScore (带标准答案的问题与答案生成) [标准答案] type: qa_aligned_precision_moverscore_question_answer_generation_with_gold_answer_gold_answer value: 61.85
    • name: QAAlignedF1Score-BERTScore (问题与答案生成) [标准答案] type: qa_aligned_f1_score_bertscore_question_answer_generation_gold_answer value: 79.78
    • name: QAAlignedRecall-BERTScore (问题与答案生成) [标准答案] type: qa_aligned_recall_bertscore_question_answer_generation_gold_answer value: 83.06
    • name: QAAlignedPrecision-BERTScore (问题与答案生成) [标准答案] type: qa_aligned_precision_bertscore_question_answer_generation_gold_answer value: 76.84
    • name: QAAlignedF1Score-MoverScore (问题与答案生成) [标准答案] type: qa_aligned_f1_score_moverscore_question_answer_generation_gold_answer value: 55.85
    • name: QAAlignedRecall-MoverScore (问题与答案生成) [标准答案] type: qa_aligned_recall_moverscore_question_answer_generation_gold_answer value: 58.22
    • name: QAAlignedPrecision-MoverScore (问题与答案生成) [标准答案] type: qa_aligned_precision_moverscore_question_answer_generation_gold_answer value: 53.8

lmqg/mt5-small-jaquad-qg模型说明文档

本模型是基于google/mt5-small针对lmgq/qg_jaquad数据集（默认配置）的问题生成任务进行微调的版本，通过lmqg框架实现。

模型概览

• 基础模型: google/mt5-small
• 语言: 日语
• 训练数据: lmqg/qg_jaquad (默认配置)
• 在线演示: https://autoqg.net/
• 代码库: https://github.com/asahi417/lm-question-generation
• 论文: https://arxiv.org/abs/2210.03992

使用方式

• 通过lmqg库

from lmqg import TransformersQG

# 初始化模型
model = TransformersQG(language="ja", model="lmqg/mt5-small-jaquad-qg")

# 生成问题
questions = model.generate_q(list_context="维米尔作品条目记述17世纪荷兰画家约翰内斯·维米尔的艺术创作。维米尔存世作品包括疑作在内仅有三十余件，均为油画。", list_answer="三十余件")

• 通过transformers库

from transformers import pipeline

pipe = pipeline("text2text-generation", "lmqg/mt5-small-jaquad-qg")
output = pipe("索菲虽出身贵族但非王室成员，与哈布斯堡家族皇位继承人弗朗茨·斐迪南的婚姻属于贵贱通婚。皇帝弗朗茨·约瑟夫以两人所生子女不得继承皇位为条件批准了这桩婚事。原定视察的<hl>6月28日<hl>正是两人第十四个结婚纪念日。")

评估结果

• 问题生成指标: 原始数据文件

• 带标准答案的问题与答案生成指标: 每个问题均基于标准答案生成。原始数据文件

• 流水线式问题与答案生成指标: 每个问题基于lmgq/mt5-small-jaquad-ae生成的答案产生。原始数据文件