语言: 英文
标签:

• pytorch
• 问答系统
  数据集:
• squad2
  评估指标:
• 精确匹配
• F1分数

示例输入:

• 问题: "温克尔曼开创了什么学科?"
  背景: "约翰·约阿希姆·温克尔曼是德国艺术史学家和考古学家。作为首位阐明希腊、希腊-罗马与罗马艺术差异的先锋希腊文化研究者，他被誉为'现代考古学的先知与奠基英雄'，是科学考古学创始人之一，并首次系统性地将风格分类大规模应用于艺术史研究。"

roberta-large-finetuned-squad2

模型描述

本模型基于facebook/bart-large，并在SQuAD2.0数据集上微调完成。相关论文可查阅模型论文与数据论文。

使用方法

from transformers.pipelines import pipeline

model_name = "phiyodr/bart-large-finetuned-squad2"
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
inputs = {
    'question': '温克尔曼开创了什么学科？',
    'context': '约翰·约阿希姆·温克尔曼是德国艺术史学家和考古学家。作为首位阐明希腊、希腊-罗马与罗马艺术差异的先锋希腊文化研究者，他被誉为"现代考古学的先知与奠基英雄"，是科学考古学创始人之一，并首次系统性地将风格分类大规模应用于艺术史研究。'
}
nlp(inputs)

训练参数

{
	"基础模型": "facebook/bart-large",
	"小写转换": true,
	"学习率": 3e-5,
	"训练轮次": 4,
	"最大序列长度": 384,
	"文档滑动步长": 128,
	"最大问题长度": 64,
	"批处理大小": 96 
}

评估结果

• 数据: dev-v2.0.json
• 脚本: evaluate-v2.0.py (原始脚本来自此处)

{
  "精确匹配": 81.96748926134929,
  "F1分数": 85.93825235371045,
  "总样本数": 11873,
  "有答案_精确匹配": 78.71120107962213,
  "有答案_F1": 86.6641144054667,
  "有答案样本数": 5928,
  "无答案_精确匹配": 85.21446593776282,
  "无答案_F1": 85.21446593776282,
  "无答案样本数": 5945
}