语言: 英文
缩略图: https://huggingface.co/front/thumbnails/microsoft.png
标签:

• 文本分类
  许可证: mit

XtremeDistilTransformers：用于蒸馏大规模神经网络

XtremeDistilTransformers是一种经过蒸馏的任务无关Transformer模型，通过任务迁移学习小型通用模型，可应用于任意任务和语言，如论文《XtremeDistilTransformers：任务无关蒸馏的任务迁移》所述。

我们结合了论文《XtremeDistil：大规模多语言模型的多阶段蒸馏》和《MiniLM：预训练Transformer任务无关压缩的深度自注意力蒸馏》中的多任务蒸馏技术，并参考了GitHub代码。

此l6-h384检查点包含6层、384隐藏维度、12个注意力头，对应2200万参数，相比BERT-base提速5.3倍。

其他可用检查点：xtremedistil-l6-h256-uncased和xtremedistil-l6-h384-uncased。

下表展示了GLUE开发集和SQuAD-v2上的结果：

测试环境：tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0

若在研究中使用了此检查点，请引用：

@misc{mukherjee2021xtremedistiltransformers,
      title={XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation}, 
      author={Subhabrata Mukherjee and Ahmed Hassan Awadallah and Jianfeng Gao},
      year={2021},
      eprint={2106.04563},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}