语言: 英语
标签:

• BabyBERTa
  许可证: MIT
  数据集:
• CHILDES
  小部件示例:
• 文本: "看这里。那是什么？"
• 文本: "你喜欢你的吗？"

BabyBERTa

概述

BabyBERTa 是基于 RoBERTa 的轻量级版本，训练数据为 500 万单词的美国英语儿童导向输入语料。
该模型专为语言习得研究设计，仅需单台配备单个 GPU 的桌面电脑即可运行——无需高性能计算基础设施。

提供的三个模型是从论文中报告的 10 个训练模型中随机选取的。

加载分词器

BabyBERTa 训练时启用了 add_prefix_space=True 参数，因此使用默认分词器设置将无法正常工作。
例如，加载 BabyBERTa-1 的分词器应按如下方式操作：

tokenizer = RobertaTokenizerFast.from_pretrained("phueb/BabyBERTa-1",  
                                                 add_prefix_space=True)  

超参数设置

详见论文说明。
所有提供模型均以 16 的批量大小训练了 40 万步。
关键特性：BabyBERTa 在训练过程中从不预测未掩码标记——unmask_prob 参数设置为零。

性能表现

BabyBERTa 专为从儿童导向输入中学习语法知识而开发。
其语法知识通过 Zorro 测试套件进行评估。
最佳模型的整体准确率达到 80.3，
与 RoBERTa-base 表现相当（截至 2021 年 10 月，RoBERTa-base 在最新版 Zorro 上的准确率为 82.6）。
这两个数值与 CoNLL 2021 论文 报告结果略有差异，原因如下：

1. RoBERTa-base 性能略高源于先前评估时将 Zorro 所有单词转为小写。
   专有名词小写化对 RoBERTa-base 不利，因其训练数据中的专有名词主要为首字母大写形式。
   而 BabyBERTa 不区分大小写，故不受此变更影响。
2. 最新版 Zorro 已移除"Spanish"等兼具名词/形容词特性的歧义内容词，
   这导致 BabyBERTa 性能轻微下降。

Zorro 测试整体准确率：

附加信息

本模型由 Philip Huebner 开发，其目前任职于 UIUC 语言与学习实验室。

更多信息请访问 项目主页。