语言: 马来语
标签:

• 马来语-BERT
  许可证: MIT
  数据集:
• OSCAR
  小部件示例:
• 文本: "Saya [MASK] makan nasi hari ini."

马来语BERT模型

马来语BERT是一个基于BERT架构的掩码语言模型。该模型使用OSCAR数据集中的unshuffled_original_ms马来语子集进行训练，并以英文BERT基础模型为基底进行微调。在20%验证集上达到了9.46的困惑度指标。训练过程参考了Hugging Face技术专家Sylvain Gugger的语言建模教程以及Pierre Guillou的微调实践指南。模型支持PyTorch和TensorFlow框架。

训练详情

模型经过3个训练周期，学习率设置为2e-3，训练损失变化如下表所示：

使用方式

作为掩码语言模型

from transformers import pipeline  
pretrained_name = "StevenLimcorn/MelayuBERT"  
fill_mask = pipeline(  
    "fill-mask",  
    model=pretrained_name,  
    tokenizer=pretrained_name  
)  
fill_mask("Saya [MASK] makan nasi hari ini.")  

调用分词器与模型

from transformers import AutoTokenizer, AutoModelForMaskedLM  

tokenizer = AutoTokenizer.from_pretrained("StevenLimcorn/MelayuBERT")  
model = AutoModelForMaskedLM.from_pretrained("StevenLimcorn/MelayuBERT")  

开发者

本模型由Steven Limcorn与Wilson Wongso联合开发。