AIbase

B

Bertino

由 indigo-ai 开发
基于大规模意大利语语料库预训练的轻量级DistilBERT模型，适用于多种自然语言处理任务。
大型语言模型
Transformers
其他
开源协议:MIT#意大利语NLP#轻量级BERT#多任务微调
下载量 64
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

BERTino是由indigo.ai开发的意大利语预训练语言模型，采用DistilBERT架构，具有任务无关性，可针对各类下游任务进行微调。

模型特点

轻量高效
采用DistilBERT架构，相比标准BERT模型体积更小、速度更快，同时保持较高性能。
大规模预训练
基于整合Paisa和ItWaC两大语料库的1400万句子（12GB文本）进行预训练。
多任务适配
经过验证可应用于词性标注、命名实体识别和句子分类等多种下游任务。

模型能力

文本分类
命名实体识别
词性标注
语义理解

使用案例

自然语言处理
词性标注
在Italian ISDT数据集上实现0.9801的F1分数
微调耗时9分4秒，评估仅需3秒
命名实体识别
在Italian WikiNER数据集上的表现
F1分数0.9038，比教师模型快近50%的微调速度
句子分类
多类别分类任务应用
F1分数0.7788，评估耗时仅6秒