语言: si 标签:

• 僧伽罗语
• 文本生成
• gpt2 数据集:
• mc4

概述

这是一个基于MC4僧伽罗语数据集训练的小型GPT2模型。由于僧伽罗语属于低资源语言之一，目前仅有少数模型被训练过。因此，该模型可以作为开展更多下游任务的理想起点。

模型规格

训练所选用的GPT2模型具体参数如下：

1. 词汇量=50257
2. 嵌入维度=768
3. 注意力头数=12
4. 网络层数=12
5. 位置编码长度=1024

使用方法

您可以直接通过pipeline调用该模型进行非正式语言建模：

from transformers import pipeline
generator = pipeline('text-generation', model='keshan/sinhala-gpt2')
generator("මම", max_length=50, num_return_sequences=5)