D

Distilbert Base Uncased Sparse 90 Unstructured Pruneofa

由 Intel 开发
这是一个稀疏预训练模型,通过一次性剪枝方法实现90%权重稀疏化,可针对多种语言任务进行微调。
下载量 78
发布时间 : 3/2/2022

模型简介

该模型采用一次性剪枝通用方法,通过权重稀疏化减少计算开销,适用于迁移学习。

模型特点

一次性剪枝通用方法
只需一次剪枝即可适应多种下游任务,无需重复剪枝
90%权重稀疏化
通过矩阵稀疏化显著减少计算开销
迁移学习友好
保留足够重要信息,适合多种语言任务微调

模型能力

文本理解
迁移学习
问答系统
情感分析
自然语言推理

使用案例

自然语言处理
问答系统
微调后可用于问答任务
在SQuADv1.1上EM/F1为76.91/84.82
文本分类
适用于情感分析等分类任务
在SST-2上准确率为90.02%
AIbase
智启未来,您的人工智能解决方案智库
简体中文