许可证：cc-by-4.0
语言：eu
标签：

• bert
• basque
• euskara

ElhBERTeu

这是为巴斯克语推出的BERT模型，首次发表于论文《BasqueGLUE: A Natural Language Understanding Benchmark for Basque》。

为训练ElhBERTeu，我们汇集了多领域语料：2021年更新的全国及地方新闻、巴斯克语维基百科，以及科学（学术与科普）、文学、字幕等新兴新闻与其他领域文本。下表详细列出了各语料库规模。新闻文本按BERTeus训练时的做法进行了过采样（重复）。预训练共使用5.75亿词元。

ElhBERTeu是一个基础版、区分大小写的巴斯克语单语BERT模型，词汇量5万，参数总量1.24亿。

此处提供中等规模模型：ElhBERTeu-medium

ElhBERTeu沿用了BERTeus的设计方案，分词器与超参数设置（batch_size=256）保持一致，唯一区别在于全程（100万步）采用512序列长度在v3-8 TPU上完成预训练。

该模型已在新建的BasqueGLUE自然语言理解基准测试中评估：

若使用本模型，请引用以下论文：

• G. Urbizu, I. San Vicente, X. Saralegi, R. Agerri, A. Soroa. BasqueGLUE: A Natural Language Understanding Benchmark for Basque. 第十三届语言资源与评估会议（LREC 2022）论文集. 2022年6月. 法国马赛

@InProceedings{urbizu2022basqueglue,
  author    = {Urbizu, Gorka  and  San Vicente, Iñaki  and  Saralegi, Xabier  and  Agerri, Rodrigo  and  Soroa, Aitor},
  title     = {BasqueGLUE: A Natural Language Understanding Benchmark for Basque},
  booktitle      = {Proceedings of the Language Resources and Evaluation Conference},
  month          = {June},
  year           = {2022},
  address        = {Marseille, France},
  publisher      = {European Language Resources Association},
  pages     = {1603--1612},
  abstract  = {近年来自然语言理解（NLU）技术显著进步，而GLUE等多任务基准通过全面多样的NLU任务评估，确保了评估的鲁棒性与普适性。这类基准要求超越表层文本线索的真实语言理解能力，但开发成本高且依赖语言特性，目前仅覆盖少数语言。本文提出首个巴斯克语（资源较少语言）NLU基准BasqueGLUE，基于既有数据集并参照GLUE与SuperGLUE构建标准。我们同时评估了两种巴斯克语前沿语言模型在BasqueGLUE上的表现，为后续研究提供强基线。BasqueGLUE采用开放许可免费发布。},
  url       = {https://aclanthology.org/2022.lrec-1.172}
}

许可证：
CC BY 4.0