language: zh
license: apache-2.0
tags:

• 填充掩码
  datasets:
• 维基百科
• 书籍语料库

模型详情：90%稀疏度BERT-Large（未区分大小写）一次性修剪通用模型

该模型是一个稀疏预训练模型，可通过微调适应多种语言任务。权重修剪的过程是将神经网络的部分权重强制归零。将部分权重设为零会形成更稀疏的矩阵。由于神经网络权重更新涉及矩阵乘法，若能保持矩阵稀疏性同时保留足够重要信息，即可降低整体计算开销。模型标题中的"稀疏"表示权重稀疏比例，详见Zafrir等人(2021)。

Zafrir等人(2021)提出的"一次性修剪通用"方法可视化：

使用方法

Python调用示例：

import transformers  
model = transformers.AutoModelForQuestionAnswering.from_pretrained('Intel/bert-large-uncased-sparse-90-unstructured-pruneofa')  

更多代码示例参见GitHub仓库。

性能指标

所有结果为相同超参数、不同随机种子两次实验的平均值。

BibTeX引用信息

@article{zafrir2021prune,  
  title={Prune Once for All: Sparse Pre-Trained Language Models},  
  author={Zafrir, Ofir and Larey, Ariel and Boudoukh, Guy and Shen, Haihao and Wasserblat, Moshe},  
  journal={arXiv preprint arXiv:2111.05754},  
  year={2021}  
}