language: zh
license: apache-2.0
tags:

• 填充掩码
• bert
  datasets:
• 维基百科
• 书籍语料库

模型详情：90%稀疏度BERT-Base（未区分大小写）一次性修剪通用模型

该模型是一个稀疏预训练模型，可通过微调适应多种语言任务。权重修剪过程会强制将神经网络的部分权重归零。将部分权重设为零会产生更稀疏的矩阵。神经网络权重更新确实涉及矩阵乘法，如果我们能在保留足够重要信息的同时保持矩阵稀疏性，就能降低整体计算开销。模型标题中的"稀疏"表示权重的稀疏比例；更多细节可参阅Zafrir等人(2021)。

来自Zafrir等人(2021)的"一次性修剪通用"方法可视化图：

使用方法

以下是Python中导入该模型的示例代码：

import transformers  

model = transformers.AutoModelForQuestionAnswering.from_pretrained('Intel/bert-base-uncased-sparse-90-unstructured-pruneofa')  

更多代码示例请参考GitHub仓库。

性能指标：

所有结果均为相同超参数、不同随机种子下两次独立实验的平均值。

BibTeX引用信息

@article{zafrir2021prune,  
  title={Prune Once for All: Sparse Pre-Trained Language Models},  
  author={Zafrir, Ofir and Larey, Ariel and Boudoukh, Guy and Shen, Haihao and Wasserblat, Moshe},  
  journal={arXiv preprint arXiv:2111.05754},  
  year={2021}  
}