AIbase

U

Umberto Commoncrawl Cased V1

由 Musixmatch 开发
基于Roberta架构的意大利语语言模型，采用SentencePiece分词和全词掩码技术训练
大型语言模型
Transformers
其他
#意大利语NLP#全词掩码技术#SentencePiece分词
下载量 13.19k
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

UmBERTo是基于Roberta架构、在大规模意大利语语料库上训练的语言模型，专注于意大利语自然语言处理任务。

模型特点

全词掩码技术
采用全词掩码(Whole Word Masking)技术，提升模型对完整语义单元的理解能力
SentencePiece分词
使用SentencePiece分词器，有效处理意大利语的特殊字符和词汇
大规模训练数据
基于OSCAR意大利语子语料库训练，包含70GB纯文本数据和110亿单词

模型能力

命名实体识别
词性标注
意大利语文本理解

使用案例

文本分析
命名实体识别
识别意大利语文本中的人名、地名、机构名等实体
在ICAB-EvalITA07数据集上F1值达87.565，WikiNER-ITA数据集上达92.531
词性标注
为意大利语文本中的词汇标注词性
在UD_Italian-ISDT数据集上准确率达98.977%