R

Robbertje 1 Gb Shuffled

由 DTAI-KULeuven 开发
RobBERTje是基于RobBERT的蒸馏荷兰语模型集合中的乱序版本,参数量74M,使用打乱的OSCAR语料训练
下载量 508
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

基于RobBERT的蒸馏荷兰语语言模型,专门针对打乱语料训练优化,适用于各类荷兰语NLP任务

模型特点

语料优化训练
使用打乱处理的OSCAR语料训练,增强模型对非连续文本的理解能力
高效蒸馏
通过知识蒸馏技术保留教师模型(RobBERT)90%以上性能,参数量减少40%
多任务适配
在DBRD情感分析、NER命名实体识别等下游任务表现优异

模型能力

荷兰语文本理解
掩码语言建模
情感分析
命名实体识别
词性标注
自然语言推理

使用案例

文本分析
新闻情感分析
分析荷兰语新闻评论的情感倾向
在DBRD数据集达到92.5%准确率
信息提取
法律文书处理
从法律文档中提取关键实体和关系
NER任务F1值达82.7