BioM-Transformers：基于BERT、ALBERT和ELECTRA构建大型生物医学语言模型

摘要

设计选择对生物医学语言模型性能的影响近来成为研究热点。本文通过实证研究，采用不同设计策略的大型Transformer模型进行生物医学领域适配。我们将预训练模型与文献中现有生物医学语言模型进行性能对比评估。结果表明，在计算成本相近或更低的条件下，我们的模型在多项生物医学领域任务中达到了最先进的性能水平。研究发现凸显了设计选择对提升生物医学语言模型性能的重要影响。

模型描述

本模型仅在PubMed摘要上进行预训练，使用生物医学领域专用词汇表，在TPUv3-512单元上以8192的批次大小训练了264,000步。为帮助资源有限的研究者微调大型模型，我们提供了PyTorch XLA的示例实现。PyTorch XLA（https://github.com/pytorch/xla）支持在Google Colab和Kaggle免费提供的TPU单元上运行PyTorch框架。具体示例参见链接

TensorFlow和GluonNLP模型检查点请访问GitHub仓库：https://github.com/salrowili/BioM-Transformers。该仓库还更新了文本分类（如ChemProt）和问答任务（如SQuAD、BioASQ）的微调示例。

Colab示例笔记本

• BioM-ELECTRA-LARGE在NER和ChemProt任务的应用
• BioM-ELECTRA-Large处理SQuAD2.0和BioASQ7B事实型任务
• BioM-ALBERT-xxlarge处理SQuAD2.0和BioASQ7B事实型任务
• 基于HuggingFace Transformers和PyTorchXLA的文本分类任务（免费TPU）
• 使用JAX复现BLURB结果
• 基于Jax/Flax在Kaggle免费TPUv3-8上微调BioM-Transformers

致谢

感谢Tensorflow研究云（TFRC）团队提供TPUv3计算资源支持。

引用

@inproceedings{alrowili-shanker-2021-biom,
title = "{B}io{M}-Transformers：基于{BERT}、{ALBERT}和{ELECTRA}构建大型生物医学语言模型",
author = "Alrowili, Sultan and Shanker, Vijay",
booktitle = "第20届生物医学语言处理研讨会论文集",
month = "6月",
year = "2021",
address = "线上",
publisher = "计算语言学协会",
url = "https://www.aclweb.org/anthology/2021.bionlp-1.24",
pages = "221--227",
abstract = "设计选择对生物医学语言模型性能的影响近来成为研究热点。本文通过实证研究，采用不同设计策略的大型Transformer模型进行生物医学领域适配。我们将预训练模型与文献中现有生物医学语言模型进行性能对比评估。结果表明，在计算成本相近或更低的条件下，我们的模型在多项生物医学领域任务中达到了最先进的性能水平。研究发现凸显了设计选择对提升生物医学语言模型性能的重要影响。",
}