B

Bert Large Uncased Squadv1.1 Sparse 80 1x4 Block Pruneofa

由 Intel 开发
这是一个通过知识蒸馏对预训练的80% 1x4块稀疏Prune OFA BERT-Large模型进行微调得到的模型,在SQuADv1.1问答任务上表现优异。
下载量 15
发布时间 : 3/27/2022
模型介绍
内容详情
替代品

模型简介

该模型是基于BERT-Large架构的稀疏化版本,专门针对问答任务进行了优化,在SQuADv1.1数据集上实现了高准确率。

模型特点

高效稀疏结构
采用80% 1x4块稀疏结构,在保持性能的同时显著减少模型参数
知识蒸馏优化
通过知识蒸馏技术进行微调,提升模型在特定任务上的表现
高性能问答能力
在SQuADv1.1问答任务上达到91.174的F1分数

模型能力

问答系统
阅读理解
文本理解

使用案例

教育科技
自动问答系统
用于构建教育领域的智能问答系统
在标准问答数据集上达到91.174的F1分数
客户服务
智能客服
用于处理客户常见问题解答