language: ti widget:

• text: "厄立特里亚青年的潜力 [MASK] 愿景"

提格里尼亚语预训练小型ELECTRA模型

我们在包含超过4000万词符的TLMD数据集上预训练了小型ELECTRA模型。

本仓库包含训练好的Flax和PyTorch格式模型。

超参数配置

上述模型规模对应的超参数配置如下：

框架版本

• Transformers 4.12.0.dev0
• Pytorch 1.9.0+cu111
• Datasets 1.13.3
• Tokenizers 0.10.3

引用声明

若您在产品或研究中使用本模型，请按以下格式引用：

@article{Fitsum2021TiPLMs,
  author={菲索姆·盖姆 和 杨元硕 以及 朴钟镇},
  title={提格里尼亚语单语预训练语言模型},
  year=2021,
  publisher={2021年EMNLP会议WiNLP研讨会}
}