S

Scideberta Full

由 KISTI-AI 开发
基于DeBERTa v2架构的学术论文专用语言模型,在科学文献处理任务中表现优异
下载量 515
发布时间 : 3/10/2023
模型介绍
内容详情
替代品

模型简介

该模型专门针对学术论文的摘要和正文文本进行优化,在科学实体识别任务中达到SOTA水平,并可通过持续学习适应生物医学等特定领域

模型特点

科学文献专用预训练
使用260GB科学论文数据集(S2ORC)从头训练,完美适配学术文本特征
持续学习能力
可通过领域适应训练衍生出MediBioDeBERTa等专业子模型
当前最优性能
在SciERC数据集的NET任务中达到SOTA水平

模型能力

科学文献实体识别
生物医学文本处理
学术文本特征提取

使用案例

学术研究
科学实体识别
自动识别论文中的专业术语和命名实体
在SciERC数据集上达到最优性能
生物医学
医学文献分析
处理生物医学领域的专业文献
衍生模型MediBioDeBERTa在BLURB基准排名第11