Tswanabert

🚀 茨瓦纳语预训练模型TswanaBert

TswanaBert是一个基于茨瓦纳语语料库，采用掩码语言模型（MLM）目标进行预训练的模型。它能够用于掩码语言建模或下一个词的预测任务，也可以针对特定的下游NLP应用进行微调。

🚀 快速开始

模型描述

TswanaBERT是一个基于Transformer架构的模型，它以自监督的方式在茨瓦纳语语料库上进行预训练。具体做法是对输入的部分单词进行掩码处理，然后使用字节级别的标记来训练模型预测这些被掩码的单词。

预期用途和局限性

该模型可用于掩码语言建模或下一个词的预测，也能针对特定的下游NLP应用进行微调。

使用方法

>>> from transformers import pipeline
>>> from transformers import AutoTokenizer, AutoModelWithLMHead

>>> tokenizer = AutoTokenizer.from_pretrained("MoseliMotsoehli/TswanaBert")
>>> model = AutoModelWithLMHead.from_pretrained("MoseliMotsoehli/TswanaBert")
>>> unmasker = pipeline('fill-mask', model=model, tokenizer=tokenizer)
>>> unmasker("Ntshopotse <mask> e godile.")

[{'score': 0.32749542593955994,
  'sequence': '<s>Ntshopotse setse e godile.</s>',
  'token': 538,
  'token_str': 'Ġsetse'},
 {'score': 0.060260992497205734,
  'sequence': '<s>Ntshopotse le e godile.</s>',
  'token': 270,
  'token_str': 'Ġle'},
 {'score': 0.058460816740989685,
  'sequence': '<s>Ntshopotse bone e godile.</s>',
  'token': 364,
  'token_str': 'Ġbone'},
 {'score': 0.05694682151079178,
  'sequence': '<s>Ntshopotse ga e godile.</s>',
  'token': 298,
  'token_str': 'Ġga'},
 {'score': 0.0565204992890358,
  'sequence': '<s>Ntshopotse, e godile.</s>',
  'token': 16,
  'token_str': ','}]

局限性和偏差

该模型是在相对较小的茨瓦纳语语料库上进行训练的，这些语料主要来自新闻文章和创意写作，因此目前还不能充分代表整个茨瓦纳语。

📦 训练数据

1. 该数据集最大的一部分（10000个句子）来自莱比锡语料库集合。
2. 我们还添加了由Marivate Vukosi和Sefara Tshephisho（2020年）收集的南非广播公司（SABC）的新闻标题，这些数据可在zenoodo上免费获取，为语料库增加了185个茨瓦纳语句子。
3. 我们还通过抓取以下主要来自博茨瓦纳的新闻网站和博客，又添加了300个句子，并且我们会持续扩展该数据集。
   • http://setswana.blogspot.com/
   • https://omniglot.com/writing/tswana.php
   • http://www.dailynews.gov.bw/
   • http://www.mmegi.bw/index.php
   • https://tsena.co.bw
   • http://www.botswana.co.za/Cultural_Issues-travel/botswana-country-guide-en-route.html
   • https://www.poemhunter.com/poem/2013-setswana/
   • https://www.poemhunter.com/poem/ngwana-wa-mosetsana/

📚 引用信息

@inproceedings{author = {Moseli Motsoehli},
  year={2020}
}