BioM-Transformers：基于BERT、ALBERT和ELECTRA构建大型生物医学语言模型

摘要

设计选择对生物医学语言模型性能的影响近来成为研究热点。本文通过实证研究，探讨了采用不同设计选择的大型Transformer模型在生物医学领域的适应性。我们将预训练模型与文献中其他现有生物医学语言模型的性能进行比较评估。结果表明，尽管计算成本与文献中其他模型相当或更低，我们在多项生物医学领域任务中仍取得了最先进的成果。研究发现凸显了设计选择对提升生物医学语言模型性能的重要影响。

模型描述

本模型在PMC全文数据上进行了额外64k步预训练（批量大小为8192），其权重初始化自BioM-ALBERT-xxlarge模型。因此该模型总训练步数为264k+64k=328k步。由于隐藏层维度达4096，模型规模非常庞大。为帮助资源有限的研究者微调大型模型，我们提供了PyTorch XLA的示例实现。PyTorch XLA（https://github.com/pytorch/xla）支持在Google Colab和Kaggle免费提供的TPU单元上运行PyTorch。通过该示例链接，使用BioM-ALBERTxxlarge模型在ChemProt任务上取得了80.74的微平均F1分数，5个epoch的微调耗时43分钟。

访问我们的GitHub仓库https://github.com/salrowili/BioM-Transformers获取TensorFlow和GluonNLP检查点。我们还更新了文本分类（如ChemProt）和问答任务（如SQuAD、BioASQ）的语言模型微调示例。

Colab示例笔记本

• BioM-ELECTRA-LARGE在NER和ChemProt任务的应用

• BioM-ELECTRA-Large在SQuAD2.0和BioASQ7B事实型任务的应用

• BioM-ALBERT-xxlarge在SQuAD2.0和BioASQ7B事实型任务的应用

• 基于HuggingFace Transformers和PyTorchXLA的文本分类任务（免费TPU）

• 使用JAX复现BLURB结果

• 通过Kaggle免费资源使用Jax/Flax在TPUv3-8上微调BioM-Transformers

致谢

感谢Tensorflow研究云（TFRC）团队提供TPUv3计算资源支持。

引用

@inproceedings{alrowili-shanker-2021-biom,
title = "{B}io{M}-Transformers: 基于{BERT}、{ALBERT}和{ELECTRA}构建大型生物医学语言模型",
author = "Alrowili, Sultan and Shanker, Vijay",
booktitle = "第20届生物医学语言处理研讨会论文集",
month = "6月",
year = "2021",
address = "线上",
publisher = "计算语言学协会",
url = "https://www.aclweb.org/anthology/2021.bionlp-1.24",
pages = "221--227",
abstract = "设计选择对生物医学语言模型性能的影响近来成为研究热点。本文通过实证研究，探讨了采用不同设计选择的大型Transformer模型在生物医学领域的适应性。我们将预训练模型与文献中其他现有生物医学语言模型的性能进行比较评估。结果表明，尽管计算成本与文献中其他模型相当或更低，我们在多项生物医学领域任务中仍取得了最先进的成果。研究发现凸显了设计选择对提升生物医学语言模型性能的重要影响。",
}