以下模型是通过转换谷歌官方BERT仓库中的TensorFlow检查点获得的PyTorch预训练模型。这些BERT变体源自论文《博览群书的学生学得更好：论预训练紧凑模型的重要性》(https://arxiv.org/abs/1908.08962)。该模型基于MNLI数据集训练。

若使用本模型，请引用论文：

@misc{bhargava2021generalization,
      title={自然语言推理中的泛化：超越简单启发式的方法（与误区）}, 
      author={普拉杰瓦尔·巴加瓦 和 亚历山大·德罗兹德 和 安娜·罗杰斯},
      year={2021},
      eprint={2110.01518},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

原始实现及更多信息请访问GitHub代码库。

MNLI准确率：75.86%
MNLI-mm准确率：77.03%

该模型训练周期为4轮。

@prajjwal_1