语言: 乌兹别克语 标签:

• 乌兹别克BERT
• 乌兹别克语
• BERT模型
• 西里尔字母 许可证: MIT 数据集:
• 网络爬取数据

UzBERT基础模型（无大小写区分）

该预训练模型针对乌兹别克语（西里尔字母）开发，采用掩码语言建模和下一句预测目标进行训练。

使用方法

您可以直接通过流水线进行掩码语言建模任务：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='coppercitylabs/uzbert-base-uncased')
>>> unmasker("阿利舍尔·纳沃伊是伟大的乌兹别克及其他突厥民族杰出的[MASK]、思想家和政治家。")

[
    {
        'token_str': '诗人',
        'token': 13587,
        'score': 0.7974384427070618,
        'sequence': '阿利舍尔·纳沃伊是伟大的乌兹别克及其他突厥民族杰出的诗人，思想##家和政治家。'
    },
    {
        'token_str': '学者',
        'token': 18500,
        'score': 0.09166576713323593,
        'sequence': '阿利舍尔·纳沃伊是伟大的乌兹别克及其他突厥民族杰出的学者，思想##家和政治家。'
    },
    {
        'token_str': '奠基人',
        'token': 7469,
        'score': 0.02451123297214508,
        'sequence': '阿利舍尔·纳沃伊是伟大的乌兹别克及其他突厥民族杰出的奠基人，思想##家和政治家。'
    },
    {
        'token_str': '作家',
        'token': 22439,
        'score': 0.017601722851395607,
        'sequence': '阿利舍尔·纳沃伊是伟大的乌兹别克及其他突厥民族杰出的作家，思想##家和政治家。'
    },
    {
        'token_str': '导师',
        'token': 11494,
        'score': 0.010115668177604675,
        'sequence': '阿利舍尔·纳沃伊是伟大的乌兹别克及其他突厥民族杰出的导师，思想##家和政治家。'
    }
]

训练数据

UzBERT模型基于约62.5万篇新闻文章（约1.42亿词）进行预训练。

BibTeX引用信息

@misc{mansurov2021uzbert,
      title={{乌兹别克BERT：乌兹别克语BERT模型的预训练}},
      author={B. 曼苏洛夫 and A. 曼苏洛夫},
      year={2021},
      eprint={2108.09814},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}