许可证：apache-2.0
语言：

• 乌兹别克语
  库名称：transformers
  管道标签：填充掩码
  数据集：
• tahrirchi/uz-crawl
• tahrirchi/uz-books
  标签：
• bert
  小部件示例：
• 文本：Alisher Navoiy – ulug‘ o‘zbek va boshqa turkiy xalqlarning , mutafakkiri va davlat arbobi bo‘lgan.

TahrirchiBERT基础模型

TahrirchiBERT-base是一个仅包含编码器的Transformer文本模型，拥有1.1亿参数。
该模型基于乌兹别克语（拉丁字母）通过掩码语言建模（MLM）目标进行预训练。此模型区分大小写：uzbek和Uzbek会被视为不同。

关于此模型的完整细节，请阅读我们的论文（即将发布！）和发布博客文章。

模型变体

此模型属于TahrirchiBERT模型系列，未来将持续扩展不同参数规模的版本。

预期用途与限制

该模型主要适用于需要对整个句子（可能包含掩码）进行决策的任务微调，例如序列分类、标记分类或问答。

使用方法

可直接通过管道进行掩码语言建模：

>>> from transformers import pipeline  
>>> unmasker = pipeline('fill-mask', model='tahrirchi/tahrirchi-bert-base')  
>>> unmasker("Alisher Navoiy – ulug‘ o‘zbek va boshqa turkiy xalqlarning <mask>, mutafakkiri va davlat arbobi bo‘lgan.")  

[输出结果示例...]  

训练数据

TahrirchiBERT采用标准MLM目标预训练：模型接收带有部分隐藏标记的文本序列，并预测这些掩码标记。训练数据包括Uzbek Crawl和Uzbek Books的拉丁字母部分，涵盖约4000本预处理书籍、120万篇精选网络及Telegram博客文本（相当于50亿标记）。

训练流程

预处理

文本通过字节级BPE分词（词汇量30,528）处理，输入为512个连续标记的片段。添加正则表达式以纠正实践中常见的符号误用。

预训练

模型以512批次训练100万步，序列长度限制为512标记。使用Adam优化器（学习率5e-4，β₁=0.9，β₂=0.98），权重衰减1e-5，前6%训练时长线性预热学习率至全值，随后线性衰减至0.02倍。

引用

请按以下格式引用：

@online{Mamasaidov2023TahrirchiBERT,  
    author    = {Mukhammadsaid Mamasaidov and Abror Shopulatov},  
    title     = {TahrirchiBERT base},  
    year      = {2023},  
    url       = {https://huggingface.co/tahrirchi/tahrirchi-bert-base},  
    note      = {访问日期: 2023-10-27},  
    urldate   = {2023-10-27}  
}  

致谢

感谢以下组织与个人的支持：

• MosaicML团队：提供高效训练BERT模型的脚本
• Ilya Gusev：全程建议指导
• David Dale：全程建议指导