数据集:

• squad_v2

基于RoBERTa的问答模型

概述

语言模型: 'roberta-base'
语言: 英语
下游任务: 抽取式问答
训练数据: SQuAD 2.0
评估数据: SQuAD 2.0
代码: <待补充>

环境信息

transformers版本: 4.9.1
平台: Linux-5.4.104+-x86_64-with-Ubuntu-18.04-bionic
Python版本: 3.7.11
PyTorch版本(是否使用GPU): 1.9.0+cu102 (否)
Tensorflow版本(是否使用GPU): 2.5.0 (否)

超参数

最大序列长度=386
文档滑动步长=128
最佳候选数量=20
最大答案长度=30
最小无效分数=7.0
批量大小=8

训练轮数=6
基础语言模型 = "roberta-base"
学习率=1.5e-5
Adam优化器epsilon参数=1e-5
Adam优化器beta1参数=0.95
Adam优化器beta2参数=0.999
预热步数=100
权重衰减=0.01
优化器=AdamW
学习率调度器="多项式"

使用特殊阈值CLS_threshold=-3来更准确识别无答案情况[具体逻辑将在GitHub仓库中提供[待补充]

性能表现

"精确匹配率": 81.192622
"F1分数":    83.95408
"总样本数": 11873
"有答案精确匹配率": 74.190283
"有答案F1分数":    79.721119
"有答案样本数": 5928
"无答案精确匹配率":  88.174937
"无答案F1分数":     88.174937
"无答案样本数":  5945

使用方式

在Transformers中使用

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

模型名称 = "PremalMatalia/roberta-base-best-squad2"

# 方式一) 获取预测结果
nlp = pipeline('question-answering', model=模型名称, tokenizer=模型名称)
问答输入 = {
    'question': '亚马逊雨林在英语中还被称为什么?',
    'context': '亚马逊雨林(葡萄牙语:Floresta Amazônica或Amazônia;西班牙语:Selva Amazónica, Amazonía或通常称Amazonia;法语:Forêt amazonienne;荷兰语:Amazoneregenwoud),在英语中也被称为Amazonia或the Amazon Jungle,是覆盖南美洲亚马逊盆地大部分地区的湿润阔叶林。该盆地面积达7,000,000平方公里(2,700,000平方英里),其中5,500,000平方公里(2,100,000平方英里)被雨林覆盖。该区域涵盖九个国家的领土。森林主要分布在巴西境内(占雨林面积的60%),其次是秘鲁(13%)、哥伦比亚(10%),以及少量分布在委内瑞拉、厄瓜多尔、玻利维亚、圭亚那、苏里南和法属圭亚那。四个国家的州或省名称中包含"Amazonas"。亚马逊雨林占地球现存雨林面积的一半以上,是世界上最大且最具生物多样性的热带雨林区域,估计有3900亿棵树木,分属16,000个物种。'
}
结果 = nlp(问答输入)
print(结果)

# 方式二) 加载模型和分词器
模型 = AutoModelForQuestionAnswering.from_pretrained(模型名称)
分词器 = AutoTokenizer.from_pretrained(模型名称)

作者

普雷马尔·马塔利亚