缩略图: https://huggingface.co/front/thumbnails/microsoft.png 标签:

• 文本分类 许可协议: mit

MiniLM：面向语言理解与生成的小型高效预训练模型

MiniLM是基于论文《MiniLM：预训练Transformer的任务无关压缩与深度自注意力蒸馏》提炼的模型。

关于预处理、训练及完整细节，请查阅原始MiniLM代码库。

请注意：该检查点可直接替代BERT模型，但使用前需进行微调！

英文预训练模型

我们发布了基于内部预训练UniLM v2模型（BERT-Base规模）提炼的无大小写12层、384隐藏层模型。

• MiniLMv1-L12-H384-uncased：12层/384隐藏单元/12头注意力/3300万参数，速度较BERT-Base提升2.7倍

自然语言理解任务微调

我们在SQuAD 2.0和多项GLUE基准任务上展示了开发集结果。

引用文献

如果您的研究中使用了MiniLM，请引用以下论文：

@misc{wang2020minilm,
    title={MiniLM：预训练Transformer的任务无关压缩与深度自注意力蒸馏},
    author={王文武、韦福如、董力、鲍航波、杨楠、周明},
    year={2020},
    eprint={2002.10957},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}