C

Covidbert Nli

由 gsarti 开发
基于冠状病毒研究论文数据集CORD19训练的BERT模型,通过自然语言推理任务微调生成通用句子嵌入表示
下载量 26
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

本模型是在CORD19数据集上预训练,并在SNLI和MultiNLI数据集上微调的BERT模型,专门用于生成与COVID-19相关的文本语义表示,适用于科研文献检索和语义相似度计算等任务。

模型特点

冠状病毒领域适应
基于CORD19冠状病毒研究论文数据集进行预训练,对COVID-19相关文本具有更好的表示能力
自然语言推理微调
在SNLI和MultiNLI数据集上进行微调,优化了句子级语义表示能力
高效训练配置
采用批大小64、23000训练步数、1450预热步数的优化配置,在P100 GPU上仅需6小时完成训练

模型能力

文本语义表示
句子相似度计算
科研文献检索
自然语言推理

使用案例

科研文献处理
新冠文献语义检索
基于语义相似度的COVID-19研究论文检索系统
在新冠语义浏览器项目中得到应用
科学文献分类
对冠状病毒相关研究论文进行自动分类