语言: 中文
缩略图: https://huggingface.co/front/thumbnails/microsoft.png
标签:

• 文本分类
  许可证: mit

XtremeDistilTransformers：面向海量神经网络的知识蒸馏

XtremeDistilTransformers 是一种经过蒸馏的任务无关型Transformer模型，其通过任务迁移技术学习小型通用模型，可应用于任意任务与语言，详见论文《XtremeDistilTransformers: 任务无关蒸馏中的任务迁移》。

我们融合了以下研究中的多任务蒸馏技术：

• 《XtremeDistil: 海量多语言模型的多阶段蒸馏》
• 《MiniLM: 预训练Transformer任务无关压缩的深度自注意力蒸馏》
  配套代码库：Github项目

当前发布的l6-h384版本具有：

• 6个网络层
• 384维隐藏状态
• 12个注意力头
  对应2200万参数量，相比BERT-base实现5.3倍加速。

其他可用版本：
xtremedistil-l6-h256-uncased
xtremedistil-l12-h384-uncased

下表展示GLUE开发集与SQuAD-v2的评测结果：

测试环境：tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0

若使用本模型，请引用：

@misc{mukherjee2021xtremedistiltransformers,
      title={XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation}, 
      author={Subhabrata Mukherjee and Ahmed Hassan Awadallah and Jianfeng Gao},
      year={2021},
      eprint={2106.04563},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}