D

Distilbert Base Es Multilingual Cased

由 Recognai 开发
这是从distilbert-base-multilingual-cased中提取的西班牙语子集模型,是BERT基础多语言模型的蒸馏版本,参数规模更小但保留了主要功能。
下载量 76
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

该模型通过仅选择西班牙语最常用的词元来缩小原多语言模型的规模,减少嵌入层大小,适用于西班牙语文本处理任务。

模型特点

轻量化设计
相比原DistilmBERT的1.34亿参数,该模型仅6300万参数,大幅减小了模型规模。
西班牙语优化
通过选择西班牙语最常用的词元,专门优化了西班牙语文本处理能力。
区分大小写
能够区分大小写,如'english'和'English'会被视为不同词元。
高效推理
作为DistilBERT的变体,保持了较高的推理效率。

模型能力

文本掩码预测
西班牙语文本理解
上下文语义分析

使用案例

文本补全
句子补全
预测句子中[MASK]位置的单词
如输入'我的名字是胡安,我住在[MASK]。'可预测出正确的地点
语言理解
西班牙语文本分析
理解西班牙语文本的语义
可用于情感分析、主题分类等下游任务