许可证：afl-3.0
数据集：

• kz-transformers/multidomain-kazakh-dataset
  语言：
• kk（哈萨克语）
  库名称：transformers
  流水线标签：fill-mask

RoBERTa-kaz-large

模型描述

roberta-kaz-large 是一个基于RoBERTa架构的哈萨克语语言模型，采用RobertaForMaskedLM从头训练而成。该模型使用了Hugging Face平台上的“kz-transformers/multidomain-kazakh-dataset”数据集进行训练，涵盖多领域内容以确保广泛的泛化能力。

使用方法

可通过Hugging Face Transformers库调用该模型：

from transformers import RobertaTokenizerFast, RobertaForMaskedLM  

tokenizer = RobertaTokenizerFast.from_pretrained('nur-dev/roberta-kaz-large')  
model = RobertaForMaskedLM.from_pretrained('nur-dev/roberta-kaz-large')  

或直接使用MLM流水线：

from transformers import pipeline  
pipe = pipeline('fill-mask', model='nur-dev/roberta-kaz-large')  
predicted = pipe("Қазіргі <mask> әлемдік деңгейдегі <mask> университеттері сапалы білім, зияткерлік және мәдени <mask> беретін <mask> <mask> <mask> ғана емес, сонымен қатар мемлекет үшін <mask> қабілетті адами капиталды құратын <mask>, ғылым және өндірісті интеграциялаудың <mask> <mask> болып табылады.")  

for t in predicted:  
  print(t[0]['score'], t[0]['token_str'])  

训练过程

模型在两张NVIDIA A100 GPU上训练完成，使用了来自“kz-transformers/multidomain-kazakh-dataset”的530多万条样本。训练共进行10个周期，通过梯度累积技术高效处理大批量数据。学习率采用缓慢上升策略以最大化稳定性，并在208,100个优化步骤中持续调整，重点提升模型对哈萨克语的理解与生成能力。

局限性及偏差

与其他语言模型类似，roberta-kaz-large可能习得训练数据中存在的偏见。用户需保持谨慎，尤其在敏感场景中应通过多样化上下文评估模型表现。

模型作者

姓名： Kadyrbek Nurgali

• 邮箱： nurgaliqadyrbek@gmail.com
• 领英： Kadyrbek Nurgali