标签:

• bert 许可证: cc-by-4.0

bert-fc基础版

这是一个基于BERT架构的语言模型，采用首字符预测作为预训练目标。关于预训练目标的详细说明及超参数设置，请参阅论文《预训练目标如何影响大语言模型对语言学特性的学习？》(https://aclanthology.org/2022.acl-short.16/)

许可证

知识共享署名4.0国际许可协议

引用

若使用本模型，请引用以下论文：

@inproceedings{alajrami2022does,
  title={预训练目标如何影响大语言模型对语言学特性的学习？},
  author={艾哈迈德·阿拉杰拉米与尼古拉斯·阿莱特拉斯},
  booktitle={第60届计算语言学协会年会论文集（短论文卷）},
  pages={131--147},
  year={2022}
}