language: tn

茨瓦纳语BERT

基于掩码语言建模（MLM）目标预训练的茨瓦纳语模型。

模型描述

茨瓦纳语BERT是一种通过自监督方式在茨瓦纳语语料库上预训练的Transformer模型，通过掩码部分输入词汇并利用字节级标记来预测被掩码内容。

使用场景与限制

该模型可用于掩码语言建模或下一词预测任务，也可针对特定下游自然语言处理应用进行微调。

使用方法

>>> from transformers import pipeline
>>> from transformers import AutoTokenizer, AutoModelWithLMHead

>>> tokenizer = AutoTokenizer.from_pretrained("MoseliMotsoehli/TswanaBert")
>>> model = AutoModelWithLMHead.from_pretrained("MoseliMotsoehli/TswanaBert")
>>> unmasker = pipeline('fill-mask', model=model, tokenizer=tokenizer)
>>> unmasker("Ntshopotse <mask> e godile.")

[{'score': 0.32749542593955994,
  'sequence': '<s>Ntshopotse setse e godile.</s>',
  'token': 538,
  'token_str': 'Ġsetse'},
 {'score': 0.060260992497205734,
  'sequence': '<s>Ntshopotse le e godile.</s>',
  'token': 270,
  'token_str': 'Ġle'},
 {'score': 0.058460816740989685,
  'sequence': '<s>Ntshopotse bone e godile.</s>',
  'token': 364,
  'token_str': 'Ġbone'},
 {'score': 0.05694682151079178,
  'sequence': '<s>Ntshopotse ga e godile.</s>',
  'token': 298,
  'token_str': 'Ġga'},
 {'score': 0.0565204992890358,
  'sequence': '<s>Ntshopotse, e godile.</s>',
  'token': 16,
  'token_str': ','}]

局限性及偏差

当前模型训练数据主要来自新闻文章和文学作品，茨瓦纳语语料规模相对有限，尚不足以全面反映该语言特征。

训练数据

1. 主要语料（10,000句）来自莱比锡语料库集

2. 补充185句茨瓦纳语新闻标题，数据由Marivate Vukosi与Sefara Tshephisho (2020) 通过zenoodo公开提供

3. 通过爬取博茨瓦纳本土新闻站点及博客新增300句语料，数据持续扩充中：

• http://setswana.blogspot.com/
• https://omniglot.com/writing/tswana.php
• http://www.dailynews.gov.bw/
• http://www.mmegi.bw/index.php
• https://tsena.co.bw
• http://www.botswana.co.za/Cultural_Issues-travel/botswana-country-guide-en-route.html
• https://www.poemhunter.com/poem/2013-setswana/ https://www.poemhunter.com/poem/ngwana-wa-mosetsana/

引用信息

@inproceedings{author = {Moseli Motsoehli},
  year={2020}
}