材料科学专用SciBERT（TPU版）：提升材料科学领域的语言理解能力

工作进展中

简介

基于SciBERT框架，采用材料科学领域全文数据预训练的模型

作者

卢卡·福皮亚诺
佩德罗·奥尔蒂斯·苏亚雷斯

内容概要

• 通过日本国立材料科学研究所（NIMS）TDM平台（https://dice.nims.go.jp/services/TDM-PF/en/）收集约70万篇论文全文，构建ScienceCorpus（SciCorpus）数据集
• 在原有SciBERT词表（3.2万词）基础上，使用关键词建模工具KeyBERT从SciCorpus中提取100个领域专有未知词进行扩充
• 初始条件：采用原始SciBERT权重
• 在Google Cloud TPU（张量处理单元）上按以下方案预训练MatTpuSciBERT模型：
  • 80万步训练：批大小256，最大序列长度512
  • 10万步训练：批大小2048，最大序列长度128
• 针对超导体命名实体识别（https://github.com/lfoppiano/grobid-superconductors）和物理量识别（https://github.com/kermitt2/grobid-quantities）进行微调与测试

相关研究

BERT实现方案

• 原始BERT https://arxiv.org/abs/1810.04805
• RoBERTa（Facebook重构版）https://arxiv.org/abs/1907.11692

相关模型

• SciBERT：基于生物与计算机科学论文从头训练的BERT https://github.com/allenai/scibert
• MatSciBERT（Gupta）：基于4个材料科学家族的15万篇论文，采用RoBERTa框架与SciBERT词表权重 http://github.com/m3rg-iitd/matscibert
• MaterialBERT：尚未发布
• MatBERT（CEDER）：基于200万份材料科学文献（约6000万段落）从头训练的BERT https://github.com/lbnlp/MatBERT
• BatteryBERT（Cole）：结合预训练权重与从头训练的混合方案 https://github.com/ShuHuang/batterybert/

实验结果

采用10折交叉验证，使用DeLFT框架（https://github.com/kermitt2/delft）测试

超导体命名实体识别

物理量命名实体识别

资助声明

本研究获得Google研究人员计划支持 https://cloud.google.com/edu/researchers

致谢

待补充