许可证: mit 标签:

• 特征提取 语言: en

PubMedNCL

一个预训练的生物医学论文文档表征语言模型。
PubMedNCL基于PubMedBERT开发，该模型是在PubMedCentral摘要和全文上预训练的BERT模型，并通过SciNCL提出的引文邻域对比学习进行微调。

如何使用预训练模型

from transformers import AutoTokenizer, AutoModel

# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained('malteos/PubMedNCL')
model = AutoModel.from_pretrained('malteos/PubMedNCL')

papers = [{'title': 'BERT', 'abstract': '我们提出了一种名为BERT的新语言表示模型'},
          {'title': '注意力就是你需要的一切', 'abstract': '主流的序列转换模型基于复杂的循环或卷积神经网络'}]

# 用[SEP]标记连接标题和摘要
title_abs = [d['title'] + tokenizer.sep_token + (d.get('abstract') or '') for d in papers]

# 预处理输入
inputs = tokenizer(title_abs, padding=True, truncation=True, return_tensors="pt", max_length=512)

# 推理
result = model(**inputs)

# 取批次中第一个标记([CLS]标记)作为嵌入向量
embeddings = result.last_hidden_state[:, 0, :]

引用文献

• 《基于引文嵌入的科学文档邻域对比学习表征》(EMNLP 2022论文)
• 《生物医学自然语言处理领域特定语言模型预训练》

许可证

MIT