标签:

• 特征提取
• 句子转换器
• 转换器 库名称: sentence-transformers 语言: 英文 数据集:
• SciDocs
• s2orc 评估指标:
• F1值
• 准确率
• 平均精度均值(map)
• 归一化折损累积增益(ndcg) 许可证: mit

SciNCL模型

SciNCL是一个预训练的BERT语言模型，用于生成研究论文的文档级嵌入表示。该模型利用引文图的邻域关系生成对比学习样本。在进行对比训练前，模型权重初始化为scibert-scivocab-uncased的参数。底层引文嵌入基于S2ORC引文图训练完成。

论文: 基于引文嵌入的科学文献邻域对比表示学习(EMNLP 2022)。

代码库: https://github.com/malteos/scincl

生物医学领域应用: 如需处理生物医学论文，请尝试PubMedNCL模型。

预训练模型使用方法

句子转换器库

from sentence_transformers import SentenceTransformer

# 加载模型
model = SentenceTransformer("malteos/scincl")

# 使用[SEP]标记连接标题与摘要
papers = [
    "BERT [SEP] 我们提出了一种名为BERT的新型语言表示模型",
    "注意力机制就是全部 [SEP] 主流的序列转换模型基于复杂的循环或卷积神经网络",
]
# 推理过程
embeddings = model.encode(papers)

# 计算嵌入向量间的(余弦)相似度
similarity = model.similarity(embeddings[0], embeddings[1])
print(similarity.item())
# => 0.8440517783164978

转换器库

from transformers import AutoTokenizer, AutoModel

# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained('malteos/scincl')
model = AutoModel.from_pretrained('malteos/scincl')

papers = [{'title': 'BERT', 'abstract': '我们提出了一种名为BERT的新型语言表示模型'},
          {'title': '注意力机制就是全部', 'abstract': '主流的序列转换模型基于复杂的循环或卷积神经网络'}]

# 使用[SEP]标记连接标题与摘要
title_abs = [d['title'] + tokenizer.sep_token + (d.get('abstract') or '') for d in papers]

# 输入预处理
inputs = tokenizer(title_abs, padding=True, truncation=True, return_tensors="pt", max_length=512)

# 推理过程
result = model(**inputs)

# 取批次中首个标记([CLS]标记)作为嵌入向量
embeddings = result.last_hidden_state[:, 0, :]

# 计算相似度
embeddings = torch.nn.functional.normalize(embeddings, p=2, dim=1)
similarity = (embeddings[0] @ embeddings[1].T)
print(similarity.item())
# => 0.8440518379211426

三元组挖掘参数配置

SciDocs评估结果

本模型权重在SciDocs数据集上取得最佳表现(随机种子=4)。论文中报告的是十次随机种子的平均结果。

更多评估细节详见论文。

许可证

MIT协议