标签:

• 由Keras回调生成 模型索引:
• 名称: bert-base-irish-cased-v1 结果: [] 小部件:
• 文本: "Ceoltóir [MASK] ab ea Johnny Cash."

bert-base-irish-cased-v1

gaBERT 是一个基于BERT的模型，训练于790万爱尔兰语句子上。更多细节，包括使用的超参数和预训练语料库，请参考我们的论文。

模型描述

基于编码器的Transformer模型，用于获取特征以微调爱尔兰语的下游任务。

预期用途与限制

用于预训练gaBERT的部分数据是从网络抓取的，可能包含伦理上有问题的文本（偏见、仇恨、成人内容等）。因此，使用gaBERT的下游任务/应用应在伦理考量方面进行彻底测试。

训练超参数

训练期间使用的超参数如下：

• 优化器: 无
• 训练精度: float32

框架版本

• Transformers 4.20.1
• TensorFlow 2.9.1
• Datasets 2.3.2
• Tokenizers 0.12.1

BibTeX条目和引用信息

如果您在研究中使用了此模型，请考虑引用我们的论文：

@inproceedings{barry-etal-2022-gabert,
    title = "ga{BERT} {---} 爱尔兰语语言模型",
    author = "Barry, James 和
      Wagner, Joachim 和
      Cassidy, Lauren 和
      Cowap, Alan 和
      Lynn, Teresa 和
      Walsh, Abigail 和
      {\'O} Meachair, M{\'\i}che{\'a}l J. 和
      Foster, Jennifer",
    booktitle = "第十三届语言资源与评估会议论文集",
    month = 6月,
    year = "2022",
    address = "马赛, 法国",
    publisher = "欧洲语言资源协会",
    url = "https://aclanthology.org/2022.lrec-1.511",
    pages = "4774--4788",
    abstract = "BERT系列的神经语言模型因其能够为文本序列提供丰富的上下文敏感标记编码而广受欢迎，这些编码能够很好地泛化到许多NLP任务中。我们介绍了gaBERT，一个用于爱尔兰语的单语BERT模型。我们将gaBERT模型与多语言BERT和单语爱尔兰语WikiBERT进行了比较，并展示了gaBERT在下游解析任务中提供了更好的表示。我们还展示了不同的过滤标准、词汇量大小和子词标记化模型的选择如何影响下游性能。我们比较了微调gaBERT模型和mBERT模型在识别动词多词表达式任务中的结果，并展示了微调的gaBERT模型在此任务中表现更优。我们将gaBERT及相关代码发布给社区。",
}