language: zh tags:

• BabyBERTa datasets:
• CHILDES widget:
• text: "看这里。那个是什么？"
• text: "你喜欢你的吗？"

BabyBERTa模型

概述

BabyBERTa是基于500万美式英语儿童导向语料训练的轻量级RoBERTa变体。该模型专为语言习得研究设计，仅需单台配备GPU的台式机即可运行，无需高性能计算基础设施。

论文中报告的10个训练模型中，我们随机选取了三个公开提供。

加载分词器

BabyBERTa训练时启用了add_prefix_space=True参数，因此需特别设置分词器。例如加载BabyBERTa-1模型时：

tokenizer = RobertaTokenizerFast.from_pretrained("phueb/BabyBERTa-1",
                                                 add_prefix_space=True)

超参数配置

详见论文说明。所有模型均以16的批大小训练40万步。关键特性是训练时从不预测未遮蔽词——unmask_prob参数设为零。

性能表现

本模型旨在从儿童导向语料中学习语法知识，采用Zorro测试集评估语法能力。最佳模型综合准确率达80.3，与RoBERTa-base在Zorro最新版(2021年10月)的82.6准确率相当。与CoNLL 2021论文报告值存在差异的原因：

1. RoBERTa-base性能提升源于先前评估时将Zorro全部转为小写。专有名词小写会损害RoBERTa-base表现（因其训练数据多为首字母大写形式），而BabyBERTa不区分大小写故不受影响
2. Zorro最新版移除了"Spanish"等兼具名词/形容词特性的歧义词，导致BabyBERTa性能微降

Zorro测试集综合准确率：

补充信息

模型由Philip Huebner开发，现属UIUC语言与学习实验室。更多信息详见项目主页。