BioM-Transformers：基于BERT、ALBERT和ELECTRA构建大型生物医学语言模型

摘要

设计选择对生物医学语言模型性能的影响近来成为研究热点。本文通过实证研究，采用不同设计策略的大型Transformer模型进行生物医学领域适配。我们将预训练模型与文献中其他现有生物医学语言模型进行性能对比评估。结果表明，在计算成本相近或更低的情况下，我们在多项生物医学领域任务中取得了最先进的成果。研究发现凸显了设计选择对提升生物医学语言模型性能的重要影响。

模型描述

• 本模型先在SQuAD2.0数据集上进行微调，随后在BioASQ8B-Factoid训练集上继续微调。我们将BioASQ8B-Factoid训练集转换为SQuAD1.1格式，并在此数据集上训练和评估模型（BioM-ELECTRA-Base-SQuAD2）。

• 用户可直接使用该模型进行预测推理而无需微调。尝试在本模型卡片的上下文框中输入PubMed摘要，提出若干生物医学问题，观察其性能表现与原始ELECTRA模型的差异。该模型也适用于构建疫情问答系统（如COVID-19）。

• 请注意本PyTorch版本与我们参与BioASQ9B时使用的版本（带分层衰减的TensorFlow）不同。我们将BioASQ8B测试集全部五个批次合并为一个dev.json文件。

• 下表为我们的模型与原始ELECTRA基础版/大型版的非官方对比结果：