语言: 印度尼西亚语
标签:

• 印尼小型RoBERTa
  许可证: MIT
  数据集:
• 维基百科
  小部件示例:
• 文本: "由于这场疫情，我们必须待在家里。"

印尼小型RoBERTa

印尼小型RoBERTa是基于RoBERTa模型的掩码语言模型。该模型在最新（2020年12月下旬）的印尼语维基百科文章上进行训练。

模型从零开始训练，在验证数据集（占文章总量的20%）上达到了48.27的困惑度。训练过程中采用的多项技术源自Hugging Face教程笔记本，作者Sylvain Gugger曾通过该教程对DistilGPT-2模型进行Wikitext2数据集的微调。

训练过程使用Hugging Face的Transformers库，基于RoBERTa基础模型及其Trainer类实现。后端框架采用PyTorch，但模型仍兼容TensorFlow。

模型架构

评估结果

模型训练共进行3个周期，最终训练结果如下：

使用指南

作为掩码语言模型

from transformers import pipeline  

pretrained_name = "w11wo/indo-roberta-small"  

fill_mask = pipeline(  
    "fill-mask",  
    model=pretrained_name,  
    tokenizer=pretrained_name  
)  

fill_mask("布迪正在学校<mask>。")  

PyTorch特征提取

from transformers import RobertaModel, RobertaTokenizerFast  

pretrained_name = "w11wo/indo-roberta-small"  
model = RobertaModel.from_pretrained(pretrained_name)  
tokenizer = RobertaTokenizerFast.from_pretrained(pretrained_name)  

prompt = "布迪正在学校。"  
encoded_input = tokenizer(prompt, return_tensors='pt')  
output = model(**encoded_input)  

免责声明

请注意，尽管训练数据源自维基百科，但模型生成的内容未必完全准确。此外，维基百科文章中的潜在偏见可能会体现在模型输出中。

作者

印尼小型RoBERTa由Wilson Wongso训练和评估。所有计算和开发均在Google Colaboratory平台上利用免费GPU资源完成。