语言:

• 英语 推理: 否 标签:
• BERT
• BNC-BERT
• 编码器 许可证: cc-by-4.0

BabyLM挑战赛的LTG-BERT模型

这是基于100MW BabyLM挑战赛数据集训练的LTG-BERT基线模型。

• 论文: 《训练1亿单词仍保持完美状态：BERT邂逅英国国家语料库》
• GitHub: ltgoslo/ltg-bert

请引用以下文献

@inproceedings{samuel-etal-2023-trained,
    title = "训练1亿单词仍保持完美状态：{BERT}邂逅{B}ritish{N}ational{C}orpus",
    author = "Samuel, David 和
      Kutuzov, Andrey 与
      {\O}vrelid, Lilja 及
      Velldal, Erik",
    booktitle = "《计算语言学协会发现：EACL 2023》",
    month = "5月",
    year = "2023",
    address = "克罗地亚杜布罗夫尼克",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2023.findings-eacl.146",
    pages = "1954--1974",
    abstract = "尽管现代掩码语言模型(LMs)的训练语料库规模不断扩大，本研究探索了在中等规模但具有代表性、平衡性好且公开可用的英语文本源——英国国家语料库上进行降尺度训练的效果。我们证明，在这个精心策划的语料库上进行预训练可以达到优于原始BERT模型的性能。我们认为这类语料库作为语言建模基准具有巨大潜力。为展示这一潜力，我们提出了公平、可复现且数据高效的语言模型对比研究，系统评估了多种训练目标和模型架构，并以可复现方式验证了先前实证结果。我们提出了一种名为LTG-BERT的优化语言模型架构。",
}