许可证：apache-2.0
数据集：

• kz-transformers/multidomain-kazakh-dataset
  语言：
• kk（哈萨克语）
  任务标签：fill-mask（填充掩码）
  库名称：transformers
  示例输入：
• 文本："Әжібай Найманбайұлы — батыр。Албан тайпасының қызылбөрік руынан 。"
• 文本：" — Қазақстан Республикасының астанасы。"

Kaz-RoBERTa（基础规模模型）

模型描述

Kaz-RoBERTa是一个基于大规模哈萨克语语料库通过自监督方式预训练的transformers模型。具体而言，它采用了掩码语言建模（MLM）目标进行预训练。

使用方法

您可以直接使用该模型进行掩码语言建模任务：

>>> from transformers import pipeline  
>>> pipe = pipeline('fill-mask', model='kz-transformers/kaz-roberta-conversational')  
>>> pipe("Мәтел тура, ауыспалы, астарлы <mask> қолданылады")  
#输出：  
# {'score': 0.8131822347640991,  
#   'token': 18749,  
#   'token_str': ' мағынада',  
#   'sequence': 'Мәтел тура, ауыспалы, астарлы мағынада қолданылады'},  
# ...  
# ...]  

训练数据

Kaz-RoBERTa模型基于以下两个数据集的联合进行预训练：

• MDBKD 多领域双语哈萨克语数据集，包含超过24,883,808条来自多个领域的哈萨克语文本。
• 对话数据 来自Beeline KZ（Veon集团）客服团队与客户之间的预处理对话记录。

这些数据集总计25GB的文本数据。

训练过程

预处理

文本使用字节级字节对编码（BPE）进行分词，词汇表大小为52,000。模型输入为512个连续标记的片段，可能跨文档。新文档的开始用<s>标记，结束用</s>标记。

预训练

模型在2块V100 GPU上训练了500,000步，批次大小为128，序列长度为512。掩码语言建模概率为15%，注意力头数为12，隐藏层数为6。

贡献者

感谢 @BeksultanSagyndyk 和 @SanzharMrz 添加此模型。
联系人： Sanzhar Murzakhmetov，Besultan Sagyndyk