AIbase

D

Distilbert Mlm 750k

由 vocab-transformers 开发
DistilBERT 是 BERT 的轻量级蒸馏版本，保留了大部分性能但参数更少。
大型语言模型
Transformers
#轻量级BERT#多领域文本理解#高效预训练
下载量 26
发布时间 : 4/2/2022
模型介绍
内容详情
替代品

模型简介

DistilBERT 是通过知识蒸馏技术从 BERT 模型压缩而来的轻量级模型，主要用于自然语言处理任务，如文本分类、问答和命名实体识别。

模型特点

轻量高效
通过知识蒸馏技术，模型参数比原始 BERT 减少 40%，同时保留 97% 的性能。
多任务支持
支持多种自然语言处理任务，包括文本分类、问答和命名实体识别。
预训练数据丰富
在 C4、MSMARCO、维基百科、S2ORC 和新闻数据集上进行预训练。

模型能力

文本分类
问答系统
命名实体识别
文本嵌入

使用案例

文本分析
情感分析
分析文本的情感倾向（正面、负面、中性）。
在多个基准数据集上表现接近原始 BERT 模型。
垃圾邮件检测
识别和分类垃圾邮件或有害内容。
信息提取
命名实体识别
从文本中提取人名、地名、组织名等实体。
问答系统
根据给定文本回答用户问题。