AIbase

D

Distilbert Word2vec 256k MLM 500k

由 vocab-transformers 开发
该模型结合了word2vec词嵌入和DistilBERT架构，通过大规模数据训练，适用于多种自然语言处理任务。
大型语言模型
Transformers
#混合词嵌入#冻结词向量#大规模预训练
下载量 15
发布时间 : 4/7/2022
模型介绍
内容详情
替代品

模型简介

该模型使用256k词条的word2vec词嵌入矩阵，基于C4、MSMARCO、新闻、维基百科和S2ORC等共计100GB数据训练。随后通过掩码语言建模(MLM)进行了50万步训练，词嵌入层在训练过程中保持冻结状态。

模型特点

大规模词嵌入
使用256k词条的word2vec词嵌入矩阵，基于100GB多样化数据训练。
高效训练
通过掩码语言建模进行了50万步训练，批量大小为64。
冻结词嵌入
训练过程中词嵌入层保持冻结状态，保留原始word2vec特征。
轻量架构
基于DistilBERT架构，在保持性能的同时减少模型复杂度。

模型能力

文本理解
语言建模
文本特征提取

使用案例

自然语言处理
文本分类
可用于情感分析、主题分类等任务。
信息检索
适用于搜索引擎和问答系统中的文本匹配。
语言模型微调
可作为下游任务的预训练模型进行微调。