R

Roberta Large Finnish

由 Finnish-NLP 开发
基于掩码语言建模(MLM)目标预训练的芬兰语RoBERTa模型,支持双向上下文理解
下载量 24
发布时间 : 3/2/2022

模型简介

该模型通过自监督学习在海量芬兰语文本上预训练,主要用于下游任务的微调,如序列分类、标记分类或问答任务。

模型特点

大规模芬兰语预训练
基于78GB清洗后的芬兰语数据训练,包含多个高质量语料库
动态遮蔽策略
采用RoBERTa特有的动态遮蔽技术,在预训练期间随机变化遮蔽模式
完整句子理解
支持512标记的连续文本处理,适合需要完整句子理解的任务

模型能力

芬兰语文本理解
掩码词汇预测
文本特征提取

使用案例

文本分类
新闻分类
对芬兰语新闻文章进行分类
在Yle新闻数据集上达到94.53%准确率
议会数据分析
对芬兰议会文本进行分类
在议会数据集上达到74.30%准确率
语言理解
语义分析
提取芬兰语文本的深层语义特征
AIbase
智启未来,您的人工智能解决方案智库
简体中文