语言: si 标签:

• 僧伽罗BERTo
• 僧伽罗语
• roberta 数据集:
• oscar

概述

这是一个基于OSCAR僧伽罗语去重数据集训练的稍小模型。由于僧伽罗语属于低资源语言之一，目前仅有少数模型被训练过。因此，该模型为开展更多下游任务训练提供了理想的起点。

模型规格

训练选用的是Roberta架构，具体参数如下：

1. 词汇表大小=52000
2. 最大位置嵌入=514
3. 注意力头数=12
4. 隐藏层数=6
5. 类型词汇表大小=1

使用方法

您可以直接通过管道进行掩码语言建模：

from transformers import AutoTokenizer, AutoModelWithLMHead, pipeline

model = AutoModelWithLMHead.from_pretrained("keshan/SinhalaBERTo")
tokenizer = AutoTokenizer.from_pretrained("keshan/SinhalaBERTo")

fill_mask = pipeline('fill-mask', model=model, tokenizer=tokenizer)

fill_mask("මම ගෙදර <mask>.")