许可证：apache-2.0
语言：英文
数据集：

• pubmed
  标签：
• bert
• exbert
• linkbert
• biolinkbert
• 特征提取
• 掩码填充
• 问答系统
• 文本分类
• 标记分类
  小部件示例：
• 文本："Sunitinib is a tyrosine kinase inhibitor"

BioLinkBERT-large模型

BioLinkBERT-large模型基于PubMed摘要及文献引用链接信息进行预训练。该模型由论文LinkBERT：利用文档链接预训练语言模型（ACL 2022）提出，相关代码和数据可在此仓库获取。

该模型在多个生物医学NLP基准测试（如BLURB和MedQA-USMLE）中实现了最先进的性能。

模型描述

LinkBERT是一种基于Transformer编码器（类BERT）的模型，通过大规模文档语料库预训练而成。作为BERT的改进版本，其创新性在于捕获了文档链接（如超链接和文献引用链接），从而整合跨文档的知识。具体而言，除单文档外，模型在预训练阶段会将关联文档共同输入至同一语言模型上下文中。

LinkBERT可直接替代BERT使用。该模型在通用语言理解任务（如文本分类）中表现更优，尤其擅长知识密集型任务（如问答系统）和跨文档任务（如阅读理解、文档检索）。

使用场景与限制

该模型可通过下游任务微调（如问答、序列分类、标记分类）投入使用，也可直接用于特征提取（即获取输入文本的嵌入表示）。

使用方法

在PyTorch中获取文本特征的示例代码：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/BioLinkBERT-large')
model = AutoModel.from_pretrained('michiyasunaga/BioLinkBERT-large')
inputs = tokenizer("Sunitinib is a tyrosine kinase inhibitor", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

微调训练可参考本仓库或其他BERT微调代码库。

评估结果

经下游任务微调后，LinkBERT取得如下性能：

生物医学基准测试（BLURB、MedQA、MMLU等）：BioLinkBERT创下新性能记录。

引用

若使用LinkBERT，请引用以下文献：

@InProceedings{yasunaga2022linkbert,
  author =  {Michihiro Yasunaga and Jure Leskovec and Percy Liang},
  title =   {LinkBERT: Pretraining Language Models with Document Links},
  year =    {2022},  
  booktitle = {Association for Computational Linguistics (ACL)},  
}