语言: 英语
标签:

• bert
• sst2
• glue
• 知识蒸馏 (kd)
• torchdistill
  许可证: apache-2.0
  数据集:
• sst2
  评估指标:
• 准确率

基于bert-base-uncased模型在SST-2数据集上进行微调，并使用微调后的bert-large-uncased作为教师模型，结合torchdistill框架与Google Colab平台实现知识蒸馏。
完整训练配置（含超参数）详见此处。
模型预测结果已提交至GLUE基准排行榜，综合GLUE得分达78.9。

松原良知（Yoshitomo Matsubara）在*EMNLP 2023自然语言处理开源软件研讨会(NLP-OSS)*发表论文：
《torchdistill与Hugging Face库的融合：实现可复现、无代码化深度学习研究——以NLP案例为例》

[论文] [开放评审] [预印本]

@inproceedings{matsubara2023torchdistill,
  title={{torchdistill与Hugging Face库的融合：实现可复现、无代码化深度学习研究——以NLP案例为例}},
  author={松原良知},
  booktitle={第三届自然语言处理开源软件研讨会论文集(NLP-OSS 2023)},
  publisher={自然语言处理实证方法会议},
  pages={153--164},
  year={2023}
}