语言: 英文
标签:

• pytorch
• 问答系统
  数据集:
• squad2
  评估指标:
• 精确匹配
• F1分数
  示例输入:
• 问题: "温克尔曼创立了什么学科？"
  上下文: "约翰·约阿希姆·温克尔曼是一位德国艺术史学家和考古学家。作为开创性的古希腊文化研究者，他首次清晰阐述了希腊艺术、希腊-罗马艺术与罗马艺术之间的差异。被誉为'现代考古学的先知与奠基英雄'，温克尔曼是科学考古学的奠基人之一，并首次在艺术史研究中大规模系统化地运用风格分类方法。"

bert-base微调版-squad2问答模型

模型说明

本模型基于**bert-base-uncased架构，并在SQuAD2.0**数据集上进行了微调。相关论文可查阅模型论文与数据论文。

使用方式

from transformers.pipelines import pipeline

model_name = "phiyodr/bert-base-finetuned-squad2"
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
inputs = {
    'question': '温克尔曼创立了什么学科？',
    'context': '约翰·约阿希姆·温克尔曼是一位德国艺术史学家和考古学家。作为开创性的古希腊文化研究者，他首次清晰阐述了希腊艺术、希腊-罗马艺术与罗马艺术之间的差异。"现代考古学的先知与奠基英雄"温克尔曼是科学考古学的奠基人之一，并首次在艺术史研究中大规模系统化地运用风格分类方法。'
}
nlp(inputs)

训练参数

{
	"基础模型": "bert-base-uncased",
	"启用小写转换": true,
	"学习率": 3e-5,
	"训练轮次": 4,
	"最大序列长度": 384,
	"文档滑动步长": 128,
	"最大问题长度": 64,
	"批次大小": 96 
}

评估结果

• 测试数据: dev-v2.0.json
• 评估脚本: evaluate-v2.0.py (原始脚本来自此处)

{
  "精确匹配率": 70.40,
  "F1分数": 73.91,
  "总样本数": 11873,
  "含答案精确匹配": 71.46,
  "含答案F1分数": 78.49,
  "含答案样本数": 5928,
  "无答案精确匹配": 69.34,
  "无答案F1分数": 69.34,
  "无答案样本数": 5945
}