语言: 英语
标签: 文本分类
许可证: Apache-2.0
数据集:

• batterydata/paper-abstracts
  评估指标: GLUE

电池摘要分类专用BatterySciBERT-uncased模型

语言模型: batteryscibert-uncased
语言: 英语
下游任务: 文本分类
训练数据: training_data.csv
验证数据: val_data.csv
代码: 参见示例
基础设施: 8台DGX A100

超参数

批量大小 = 32  
训练轮数 = 14  
基础语言模型 = "batteryscibert-uncased"  
学习率 = 2e-5  

性能表现

"验证集准确率": 97.12,  
"测试集准确率": 97.47,  

使用方式

在Transformers中使用

from transformers import AutoModelForSequenceClassification, AutoTokenizer, pipeline  
模型名称 = "batterydata/batteryscibert-uncased-abstract"  

# a) 获取预测结果  
nlp = pipeline('text-classification', model=模型名称, tokenizer=模型名称)  
输入文本 = {'商用锂离子电池典型的非水电解液是LiPF6溶解于直链和环状碳酸酯的溶液。'}  
结果 = nlp(输入文本)  

# b) 加载模型与分词器  
model = AutoModelForSequenceClassification.from_pretrained(模型名称)  
tokenizer = AutoTokenizer.from_pretrained(模型名称)  

作者

黄舒: sh2009 [at] cam.ac.uk

Jacqueline Cole: jmc61 [at] cam.ac.uk

引用文献

《BatteryBERT：用于电池数据库增强的预训练语言模型》