MSR BiomedBERT（摘要+全文版）

大型神经语言模型（如BERT）的预训练显著提升了众多自然语言处理（NLP）任务的性能。然而现有预训练工作主要集中于新闻和网络等通用领域语料。主流观点认为，即使是领域专用预训练，从通用语言模型出发也能获益。最新研究表明，对于生物医学等富含无标注文本的领域，从头开始预训练语言模型相比通用领域模型的持续预训练能带来显著提升。

BiomedBERT基于PubMed摘要与PubMedCentral全文进行全新建模预训练。该模型在多项生物医学NLP任务中达到最先进水平，目前保持生物医学语言理解与推理基准的最高得分记录。

引用声明

若BiomedBERT对您的研究有所助益，请引用以下论文：

@misc{pubmedbert,
  author = {Yu Gu and Robert Tinn and Hao Cheng and Michael Lucas and Naoto Usuyama and Xiaodong Liu and Tristan Naumann and Jianfeng Gao and Hoifung Poon},
  title = {Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing},
  year = {2020},
  eprint = {arXiv:2007.15779},
}