语言: 英语
标签:

• exbert
  许可证: mit

微件示例:

• 文本: "[MASK]是一种酪氨酸激酶抑制剂。"

MSR BiomedBERT-large（仅限摘要版）

大型神经语言模型（如BERT）的预训练显著提升了自然语言处理（NLP）任务表现。但现有预训练主要基于新闻和网络等通用语料。主流观点认为，即使针对特定领域的预训练，从通用语言模型出发仍能获益。最新研究表明，在生物医学等富含无标注文本的领域，从头预训练语言模型比通用模型的持续预训练能带来更大提升。后续研究则探索了更大模型规模对BLURB基准性能的影响。

本BiomedBERT模型基于PubMed摘要文本进行从头预训练。

引用

若BiomedBERT对您的研究有所助益，请引用以下论文：

@misc{https://doi.org/10.48550/arxiv.2112.07869,  
  doi = {10.48550/ARXIV.2112.07869},  
  url = {https://arxiv.org/abs/2112.07869},  
  author = {Tinn, Robert and Cheng, Hao and Gu, Yu and Usuyama, Naoto and Liu, Xiaodong and Naumann, Tristan and Gao, Jianfeng and Poon, Hoifung},  
  keywords = {Computation and Language (cs.CL), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences},  
  title = {Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing},  
  publisher = {arXiv},  
  year = {2021},  
  copyright = {arXiv.org perpetual, non-exclusive license}  
}