language: zh
tags:

• BabyBERTa
  datasets:
• CHILDES
  widget:
• text: "看这里。那个是什么？"
• text: "你喜欢你的吗？"

BabyBERTa

概述

BabyBERTa 是一个轻量级的 RoBERTa 版本，基于 500 万单词的美国英语儿童导向输入训练而成。
它专为语言习得研究设计，只需一台配备单个 GPU 的台式机即可运行，无需高性能计算基础设施。

提供的三个模型是从论文中训练并报告的 10 个模型中随机选取的。

加载分词器

BabyBERTa 训练时启用了 add_prefix_space=True，因此默认的分词器设置无法正常工作。
例如，加载 BabyBERTa-1 的分词器时，需按以下方式操作：

tokenizer = RobertaTokenizerFast.from_pretrained("phueb/BabyBERTa-1",  
                                                 add_prefix_space=True)  

超参数

详见论文。
所有提供的模型均以 16 的批量大小训练了 40 万步。
关键的是，BabyBERTa 在训练过程中从不预测未掩码的标记——unmask_prob 设置为零。

性能表现

BabyBERTa 旨在从儿童导向输入中学习语法知识。
其语法知识通过 Zorro 测试套件进行评估。
最佳模型的整体准确率为 80.3，
与 RoBERTa-base 相当（截至 2021 年 10 月，RoBERTa-base 在最新版 Zorro 上的整体准确率为 82.6）。
这两项数值与 CoNLL 2021 论文 中报告的结果略有差异，原因如下：

1. RoBERTa-base 性能略高，因为作者此前在评估前将 Zorro 中所有单词转为小写。
   专有名词小写对 RoBERTa-base 不利，因其训练数据中的专有名词多为首字母大写。
   而 BabyBERTa 不区分大小写，故不受此调整影响。
2. 最新版 Zorro 移除了歧义性内容词（如 "Spanish" 既可为名词也可为形容词），
   导致 BabyBERTa 性能轻微下降。

Zorro 上的整体准确率：

附加信息

该模型由 Philip Huebner 训练，他目前任职于 UIUC 语言与学习实验室。

更多信息请访问此处。