许可证: apache-2.0 数据集:

• bookcorpus
• wikipedia 语言:
• en

BERT微型版（无大小写区分）

来自论文https://arxiv.org/abs/1908.08962的迷你BERT模型，HF团队未进行转换。使用了原始的转换脚本。

查看原谷歌仓库: google-research/bert

注：尚不明确这些检查点是否经过知识蒸馏。

模型变体

使用方式

参考其他BERT模型卡片，例如 https://huggingface.co/bert-base-uncased

引用

@article{turc2019,
  title={博学多识的学生学得更好：论预训练紧凑模型的重要性},
  author={Turc, Iulia and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina},
  journal={arXiv预印本 arXiv:1908.08962v2 },
  year={2019}
}