标签:

• bert 许可证: cc-by-4.0

bert-ascii-small

一个小型BERT语言模型，通过预测被遮蔽标记中字符的ASCII码值之和作为预训练目标进行预训练。有关预训练目标和预训练超参数的更多详细信息，请参阅预训练目标如何影响大型语言模型对语言属性的学习？

许可证

CC BY 4.0

引用

如果您使用此模型，请引用以下论文：

@inproceedings{alajrami2022does,
  title={预训练目标如何影响大型语言模型对语言属性的学习？},
  author={艾哈迈德·阿拉杰拉米和尼古拉斯·阿莱特拉斯},
  booktitle={第60届计算语言学协会年会论文集（第二卷：短论文）},
  pages={131--147},
  year={2022}
}