语言: 英语
标签: 问答系统
许可证: Apache-2.0
数据集:

• SQuAD
• batterydata/battery-device-data-qa
  评估指标: SQuAD

基于BERT-cased的问答模型

语言模型: bert-base-cased
语言: 英语
下游任务: 抽取式问答
训练数据: SQuAD v1
评估数据: SQuAD v1
代码: 参见示例
基础设施: 8台DGX A100

超参数

batch_size = 32  
n_epochs = 2  
base_LM_model = "bert-base-cased"  
max_seq_len = 386  
learning_rate = 5e-5  
doc_stride=128  
max_query_length=64  

性能表现

在SQuAD v1.0开发集上的评估结果：

"精确匹配率": 81.30,  
"F1分数": 88.58,  

在电池设备数据集上的评估结果：

"精确率": 67.02,  
"召回率": 80.15,  

使用方式

在Transformers中使用

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline  

model_name = "batterydata/bert-base-cased-squad-v1"  
# a) 获取预测结果  
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)  
QA_input = {  
    'question': '电解液是什么？',  
    'context': '商用锂离子电池典型的非水电解液是LiPF6在线性和环状碳酸酯中的溶液。'  
}  
res = nlp(QA_input)  
# b) 加载模型和分词器  
model = AutoModelForQuestionAnswering.from_pretrained(model_name)  
tokenizer = AutoTokenizer.from_pretrained(model_name)  

作者

黄舒: sh2009 [at] cam.ac.uk

杰奎琳·科尔: jmc61 [at] cam.ac.uk

引用

BatteryBERT：一种用于电池数据库增强的预训练语言模型