language: zh inference: false

COVID-SciBERT：基于科学文本训练的BERT模型SciBERT的小型语言建模扩展

SciBERT详情

SciBERT模型由Iz Beltagy, Kyle Lo, Arman Cohan在论文《SciBERT：面向科学文本的预训练语言模型》中提出，以下是摘要内容：

在科学领域获取大规模标注数据用于自然语言处理任务既具挑战性又成本高昂。我们发布了SciBERT，这是一个基于BERT（Devlin等人，2018）的预训练语言模型，旨在解决高质量、大规模标注科学数据的缺乏问题。SciBERT通过在海量多领域科学出版物上进行无监督预训练，提升下游科学自然语言处理任务的性能。我们在包括序列标注、句子分类和依存句法分析等一系列任务上进行了评估，数据集涵盖多个科学领域。实验表明，该模型相较BERT取得了统计显著性提升，并在多项任务中创造了新的最先进成果。

下游任务（语言建模）详情 - 数据集 📚

实际使用了两个数据集：

• 原始SciBERT模型基于semanticscholar.org的论文语料库训练。语料库包含114万篇论文，31亿个词元。训练中使用了论文全文而非仅摘要。SciBERT拥有专为匹配训练语料而构建的自定义词汇表（scivocab）。

• 扩展训练使用了COVID-19开放研究数据集挑战赛（CORD-19）中的论文。仅采用摘要部分，并对现有scivocab词汇表进行剪枝和扩充。为应对COVID-19疫情，白宫与多家顶尖研究机构联合编制了CORD-19数据集。该资源包含逾20万篇学术文章（其中超10万篇含全文），涉及COVID-19、SARS-CoV-2及相关冠状病毒。这个免费开放的数据集旨在支持全球研究界运用自然语言处理等AI技术的最新进展，为抗击传染病提供新见解。由于冠状病毒文献的爆发式增长，这类技术方案的紧迫性日益凸显，医学研究界已难以跟进。

模型训练

训练脚本详见此处。

模型管道化应用

import transformers

model = transformers.AutoModelWithLMHead.from_pretrained('lordtt13/COVID-SciBERT')

tokenizer = transformers.AutoTokenizer.from_pretrained('lordtt13/COVID-SciBERT')

nlp_fill = transformers.pipeline('fill-mask', model = model, tokenizer = tokenizer)
nlp_fill('Coronavirus or COVID-19 can be prevented by a' + nlp_fill.tokenizer.mask_token)

# 输出:
# [{'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a combination [SEP]',
#   'score': 0.1719885915517807,
#   'token': 2702},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a simple [SEP]',
#   'score': 0.054218728095293045,
#   'token': 2177},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a novel [SEP]',
#   'score': 0.043364267796278,
#   'token': 3045},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a high [SEP]',
#   'score': 0.03732519596815109,
#   'token': 597},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a vaccine [SEP]',
#   'score': 0.021863549947738647,
#   'token': 7039}]

由Tanmay Thakur创建 | 领英主页

附言：仍在寻找更多资源来扩展我的扩展模型！