MSR BiomedBERT（仅限摘要版）

通过BERT等大型神经语言模型的预训练，已在诸多自然语言处理（NLP）任务中取得显著成效。然而现有预训练工作多集中于新闻通讯和网页等通用领域语料。主流观点认为，即便是领域专用预训练，从通用领域语言模型出发也能获益。最新研究表明，对于生物医学这类未标注文本丰富的专业领域，从头开始预训练语言模型比基于通用领域模型的持续预训练能带来更大提升。

本BiomedBERT模型使用PubMed文献摘要进行全流程预训练。如生物医学语言理解与推理基准测试所示，该模型在多项生物医学NLP任务中实现了最先进的性能表现。

引用声明

若BiomedBERT对您的研究有所助益，请引用以下论文：

@misc{pubmedbert,
  author = {Yu Gu and Robert Tinn and Hao Cheng and Michael Lucas and Naoto Usuyama and Xiaodong Liu and Tristan Naumann and Jianfeng Gao and Hoifung Poon},
  title = {Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing},
  year = {2020},
  eprint = {arXiv:2007.15779},
}