语言: 爱沙尼亚语
许可证: CC-BY-4.0
基础模型: google-bert/bert-base-cased
示例输入:

• 文本: "Miks [MASK] ei taha mind kuulata?"

EstBERT

这是什么？

EstBERT模型是一个预训练的BERT_Base模型，专门针对爱沙尼亚语大小写敏感语料库进行训练，支持128和512两种序列长度。

如何使用？

您可以使用TensorFlow或PyTorch版本的模型转换库。

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("tartuNLP/EstBERT")
model = AutoModelForMaskedLM.from_pretrained("tartuNLP/EstBERT")

您也可以从这里下载预训练模型：EstBERT_128 EstBERT_512

训练模型使用的数据集

EstBERT模型分别针对128和512序列长度的数据进行训练。训练数据来源于当时最大的爱沙尼亚语语料库——2017年爱沙尼亚国家语料库，该语料库包含四个子集：1990-2008年爱沙尼亚参考语料库、2013年爱沙尼亚网络语料库、2017年爱沙尼亚网络语料库以及2017年爱沙尼亚维基百科语料库。

引用参考

Tanvir等人 2021年研究

为什么选择EstBERT？

在词性标注（POS）、命名实体识别（NER）、主题分类和情感分类任务中，EstBERT整体表现优于mBERT和XLM-RoBERTa。具体对比结果如下：

BibTeX引用格式

@misc{tanvir2020estbert,
      title={EstBERT: A Pretrained Language-Specific BERT for Estonian}, 
      author={Hasan Tanvir and Claudia Kittask and Kairit Sirts},
      year={2020},
      eprint={2011.04784},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}