许可证：apache-2.0
语言：英语
数据集：

• 维基百科
• 书籍语料库
  标签：
• bert
• exbert
• linkbert
• 特征提取
• 掩码填充
• 问答系统
• 文本分类
• 标记分类

LinkBERT-large模型

LinkBERT-large是基于英文维基百科文章及超链接信息预训练的模型。该模型在论文《LinkBERT：利用文档链接预训练语言模型（ACL 2022）》中提出，相关代码和数据可在此代码库获取。

模型描述

LinkBERT是一种基于Transformer编码器（类似BERT）的模型，通过大规模文档语料库进行预训练。作为BERT的改进版本，该模型创新性地捕捉了文档链接（如超链接和引用链接），从而整合跨文档的知识。具体而言，其预训练过程不仅输入单个文档，还将关联文档纳入同一语言模型上下文中。

LinkBERT可直接替代BERT使用。该模型在通用语言理解任务（如文本分类）中表现更优，尤其擅长知识密集型任务（如问答系统）和跨文档任务（如阅读理解、文档检索）。

用途与限制

该模型可通过下游任务微调（如问答、序列分类、标记分类）投入使用，也可直接用于特征提取（即获取输入文本的嵌入表示）。

使用方法

在PyTorch中获取文本特征的示例代码：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/LinkBERT-large')
model = AutoModel.from_pretrained('michiyasunaga/LinkBERT-large')
inputs = tokenizer("你好，我的小狗很可爱", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

微调训练可参考此代码库或其他BERT微调方案。

评估结果

下游任务微调后，LinkBERT取得如下性能：

通用基准测试（MRQA与GLUE）：

引用

若LinkBERT对您的研究有所助益，请引用：

@InProceedings{yasunaga2022linkbert,
  author =  {Michihiro Yasunaga and Jure Leskovec and Percy Liang},
  title =   {LinkBERT: Pretraining Language Models with Document Links},
  year =    {2022},  
  booktitle = {Association for Computational Linguistics (ACL)},  
}