许可协议：Apache-2.0
语言：

• 英语

标签：

• 生物医学
• 词汇语义学
• 生物自然语言处理
• 生物学
• 科学
• 嵌入技术
• 实体链接

数据集：

• UMLS

[动态] SapBERT的跨语言扩展版本将亮相ACL 2021主会议！

[动态] SapBERT的研究成果将收录于NAACL 2021会议论文集！

SapBERT-PubMedBERT

SapBERT由Liu等人(2020)提出，基于microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltext基础模型，使用2020AA版UMLS（仅英文）进行训练。

输入输出说明

输入应为生物医学实体名称字符串，例如"covid infection"或"Hydroxychloroquine"。模型最后一层的[CLS]嵌入向量将作为输出表征。

从SapBERT提取嵌入向量

以下脚本可将实体名称列表转换为嵌入向量：

import numpy as np
import torch
from tqdm.auto import tqdm
from transformers import AutoTokenizer, AutoModel  

tokenizer = AutoTokenizer.from_pretrained("cambridgeltl/SapBERT-from-PubMedBERT-fulltext")  
model = AutoModel.from_pretrained("cambridgeltl/SapBERT-from-PubMedBERT-fulltext").cuda()

# 替换为您的实体名称列表
all_names = ["covid-19", "冠状病毒感染", "高烧", "口咽后壁肿瘤"] 

bs = 128 # 推理批处理大小
all_embs = []
for i in tqdm(np.arange(0, len(all_names), bs)):
    toks = tokenizer.batch_encode_plus(all_names[i:i+bs], 
                                    padding="max_length", 
                                    max_length=25, 
                                    truncation=True,
                                    return_tensors="pt")
    toks_cuda = {}
    for k,v in toks.items():
        toks_cuda[k] = v.cuda()
    cls_rep = model(**toks_cuda)[0][:,0,:] # 使用CLS表征作为嵌入向量
    all_embs.append(cls_rep.cpu().detach().numpy())

all_embs = np.concatenate(all_embs, axis=0)

更多训练与评估细节详见SapBERT的GitHub仓库。

引用文献

@inproceedings{liu-etal-2021-self,
    title = "生物医学实体表征的自对齐预训练",
    author = "刘芳宇 and 沙赫希, 埃桑 and 孟载乔 and 巴萨尔代拉, 马尔科 and 科利尔, 奈杰尔",
    booktitle = "北美计算语言学协会2021年会论文集",
    month = "6月",
    year = "2021",
    address = "线上",
    publisher = "计算语言学协会",
    url = "https://www.aclweb.org/anthology/2021.naacl-main.334",
    pages = "4228--4238",
    abstract = "尽管掩码语言模型(MLM)的自监督学习取得广泛成功，但在生物医学领域精准捕捉细粒度语义关系仍具挑战性。这对于实体链接等需要建模实体关系（特别是同义关系）的任务至关重要。为此，我们提出SapBERT预训练方案，通过自对齐方式优化生物医学实体的表征空间。我们设计了可扩展的度量学习框架，利用包含400多万概念的UMLS生物医学本体库。与传统流水线混合系统相比，SapBERT为医学实体链接(MEL)提供了优雅的一体化解决方案，在六个MEL基准数据集上实现最新最优性能。在科学领域，即使没有任务特定监督也能达到最优水平。相较于BioBERT、SciBERT和PubMedBERT等领域专用预训练MLM的显著提升，我们的预训练方案被证明既高效又鲁棒。",
}