许可证: mit 语言:

• 英文

BERT-Mini（无大小写区分）

这是由google-research/bert发布的24个小型BERT模型之一（仅限英语，无大小写区分，使用WordPiece掩码训练）。

这些BERT模型最初以TensorFlow检查点形式发布，但这是转换为PyTorch的版本。更多信息可在google-research/bert或lyeoni/convert-tf-to-pytorch中找到。

评估

以下是MPRC任务的评估分数（F1/准确率）。

参考文献

@article{turc2019,
  title={博学多识的学生学得更好：论预训练紧凑模型的重要性},
  author={Turc, Iulia and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina},
  journal={arXiv预印本 arXiv:1908.08962v2},
  year={2019}
}