模型描述

这是一个基于基尼亚卢旺达语数据集、采用掩码语言建模（MLM）目标预训练的模型。RoBerta模型最初在这篇论文中提出。该KinyaRoBERTa模型使用无大小写区分标记进行预训练，这意味着例如"ikinyarwanda"和"Ikinyarwanda"被视为相同。

训练参数

数据集

训练数据来源包括：从卢旺达各新闻网站提取的新文章、转储的维基百科文件以及基尼亚卢旺达语书籍。具体数据量为：7.2万篇新闻文章、3000篇转储的维基百科文章，以及6本超过千页的书籍。

超参数

模型采用Huggingface提供的RoBerta默认配置及Trainer进行训练。由于计算资源限制，我们将Transformer层数保持在6层。

使用方法：

1. 可直接通过pipeline进行掩码语言建模：

from transformers import pipeline
the_mask_pipe = pipeline(
    "fill-mask",
    model='jean-paul/kinyaRoberta-small',
    tokenizer='jean-paul/kinyaRoberta-small',
)

the_mask_pipe("Ejo ndikwiga nagize <mask> baje kunsura.")

[{'sequence': 'Ejo ndikwiga nagize amahirwe baje kunsura.', 'score': 0.3530674874782562, 'token': 1711, 'token_str': ' amahirwe'}, 
{'sequence': 'Ejo ndikwiga nagize ubwoba baje kunsura.', 'score': 0.2858319878578186, 'token': 2594, 'token_str': ' ubwoba'}, 
{'sequence': 'Ejo ndikwiga nagize ngo baje kunsura.', 'score': 0.032475441694259644, 'token': 396, 'token_str': ' ngo'}, 
{'sequence': 'Ejo ndikwiga nagize abana baje kunsura.', 'score': 0.029481062665581703, 'token': 739, 'token_str': ' abana'}, 
{'sequence': 'Ejo ndikwiga nagize abantu baje kunsura.', 'score': 0.016263306140899658, 'token': 500, 'token_str': ' abantu'}]

2. 通过transformers库直接调用AutoModel获取特征：

from transformers import AutoTokenizer, AutoModelForMaskedLM
  
tokenizer = AutoTokenizer.from_pretrained("jean-paul/kinyaRoberta-small")
model = AutoModelForMaskedLM.from_pretrained("jean-paul/kinyaRoberta-small")

input_text = "Ejo ndikwiga nagize abashyitsi baje kunsura."
encoded_input = tokenizer(input_text, return_tensors='pt')
output = model(**encoded_input)

注意：我们使用Huggingface的实现从头开始预训练RoBerta，包括RoBerta模型本身及其所需的训练类。