用于蒸馏大规模神经网络的XtremeDistilTransformers模型

XtremeDistilTransformers是一个经过蒸馏的任务无关型Transformer模型，它利用任务迁移学习技术来训练小型通用模型，可应用于任意任务和语言，如论文XtremeDistilTransformers：任务无关蒸馏的任务迁移所述。

我们结合了XtremeDistil：大规模多语言模型的多阶段蒸馏和MiniLM：预训练Transformer任务无关压缩的深度自注意力蒸馏两篇论文中的多任务蒸馏技术，相关GitHub代码可供参考。

这个l6-h384检查点具有6层网络结构，384维隐藏层大小，12个注意力头，对应2200万参数，相比BERT-base模型实现了5.3倍加速。

其他可用检查点：xtremedistil-l6-h384-uncased 和 xtremedistil-l12-h384-uncased

下表展示了在GLUE开发集和SQuAD-v2上的测试结果：

测试环境：tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0

如果您在研究中使用了本检查点，请引用：

@misc{mukherjee2021xtremedistiltransformers,
      title={XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation}, 
      author={Subhabrata Mukherjee and Ahmed Hassan Awadallah and Jianfeng Gao},
      year={2021},
      eprint={2106.04563},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}