语言: 提格里尼亚语 组件:

• 文本: "ዓቕሚ ደቂኣንስትዮ [MASK] ብግብሪ ተራእዩ"

提格里尼亚语基础BERT模型

我们在包含4000万词符的数据集上对提格里尼亚语基础BERT模型进行了40轮预训练。

本代码库包含在TPU v3.8上训练的原始Flax预训练模型及其对应的PyTorch版本。

超参数

上述模型规模对应的超参数如下：

（层数=网络层数；注意力头数=注意力机制头数；隐藏层维度=隐藏层大小；前馈网络维度=前馈神经网络维度；参数量=参数总数；最大序列长度=支持的最大文本长度。）

引用说明

若在产品或研究中使用本模型，请按以下格式引用：

@article{Fitsum2021TiPLMs,
  作者={Fitsum Gaim 和 Wonsuk Yang 及 Jong C. Park},
  标题={提格里尼亚语单语预训练语言模型},
  年份=2021,
  出版方={2021年EMNLP会议WiNLP研讨会}
}