许可证：apache-2.0
语言：英文
数据集：

• pubmed
  标签：
• bert
• exbert
• linkbert
• biolinkbert
• 特征提取
• 掩码填充
• 问答系统
• 文本分类
• 标记分类
  小部件示例：
• 文本："Sunitinib is a tyrosine kinase inhibitor"

BioLinkBERT-base模型

BioLinkBERT-base模型基于PubMed摘要及文献引用链接信息进行预训练，由论文《LinkBERT：利用文档链接预训练语言模型（ACL 2022）》提出。相关代码与数据详见该仓库。

该模型在BLURB、MedQA-USMLE等多项生物医学NLP基准测试中实现了最先进的性能。

模型描述

LinkBERT是一种基于Transformer编码器（类BERT架构）的模型，通过海量文档语料进行预训练。作为BERT的改进版本，其创新性在于捕捉文档间链接（如超链接与文献引用链接），从而整合跨文档知识。具体而言，该模型在预训练时会将关联文档与原始文档共同输入语言模型上下文。

LinkBERT可直接替代BERT使用。其在通用语言理解任务（如文本分类）中表现更优，尤其擅长知识密集型任务（如问答系统）和跨文档任务（如阅读理解、文献检索）。

应用场景与限制

该模型可通过下游任务微调（如问答系统、序列分类、标记分类）投入使用，亦可用于原始文本特征提取（即获取输入文本的嵌入表示）。

使用方法

通过PyTorch获取文本特征的示例代码：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/BioLinkBERT-base')
model = AutoModel.from_pretrained('michiyasunaga/BioLinkBERT-base')
inputs = tokenizer("Sunitinib is a tyrosine kinase inhibitor", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

微调训练可参考本仓库或其他BERT微调代码库。

评估结果

经下游任务微调后，LinkBERT取得如下性能：

生物医学基准测试（BLURB、MedQA、MMLU等）：BioLinkBERT刷新多项纪录。

引用

若使用LinkBERT，请引用：

@InProceedings{yasunaga2022linkbert,
  author =  {Michihiro Yasunaga and Jure Leskovec and Percy Liang},
  title =   {LinkBERT: Pretraining Language Models with Document Links},
  year =    {2022},  
  booktitle = {Association for Computational Linguistics (ACL)},  
}