许可证：apache-2.0
语言：

• 吉尔吉斯语
  任务标签：填充掩码
  库名称：transformers

吉尔吉斯Bert模型

概述

吉尔吉斯Bert是一个基于BERT架构的小规模语言模型，在大量吉尔吉斯语文本语料库上进行了预训练。该模型专为掩码语言建模（MLM）、文本分类及吉尔吉斯语自然语言处理应用而设计。由Metinov Adilet开发，旨在推动吉尔吉斯语NLP研究和实际应用。

模型详情

• 架构： BERT（小规模变体）
• 词表大小： 定制吉尔吉斯语分词器
• 隐藏层维度： 512
• 层数： 6
• 注意力头数： 8
• 中间层维度： 2048
• 最大序列长度： 512
• 预训练任务： 掩码语言建模（MLM）
• 框架： Hugging Face Transformers

训练数据

本模型基于包含150万句以上的非公开数据集训练，使用metinovadilet/bert-kyrgyz-tokenizer分词器进行分词处理。

训练配置

• 硬件： 在RTX 3090 GPU上训练
• 批大小： 16
• 优化器： AdamW
• 学习率： 1e-4
• 权重衰减： 0.01
• 训练轮次： 1000

应用场景

• 文本补全与预测： 填充吉尔吉斯文本中的缺失词汇
• 特征提取： 为下游NLP任务生成吉尔吉斯语词向量
• 微调应用： 可针对情感分析、命名实体识别（NER）、机器翻译等任务进行微调

使用方法

通过Hugging Face的transformers库加载模型：

from transformers import BertTokenizerFast, BertForMaskedLM  
import torch  

# 加载模型与分词器  
model_name = "metinovadilet/KyrgyzBert"  
tokenizer = BertTokenizerFast.from_pretrained(model_name)  
model = BertForMaskedLM.from_pretrained(model_name)  

# 含[MASK]标记的输入文本  
text = "Бул жерден [MASK] нерселерди таба аласыз."  

# 分词处理  
inputs = tokenizer(text, return_tensors="pt")  

# 模型预测  
with torch.no_grad():  
    outputs = model(**inputs).logits  

# 定位掩码标记位置  
masked_index = (inputs.input_ids == tokenizer.mask_token_id).nonzero(as_tuple=True)[1].item()  

# 获取掩码标记的Top5预测结果  
probs = torch.softmax(outputs[0, masked_index], dim=-1)  
top_k = torch.topk(probs, k=5)  # 取概率最高的5个预测  

# 解码预测标记  
predicted_tokens = [tokenizer.decode([token_id]) for token_id in top_k.indices.tolist()]  

# 输出预测结果  
print(f"对[MASK]的Top预测：{', '.join(predicted_tokens)}")  

局限性

• 可能对低资源方言和语码转换处理不佳
• 性能取决于训练数据的质量与多样性
• 未针对情感分析或NER等具体任务进行微调

致谢

本模型由Metinov Adilet开发。若使用本模型，请考虑引用我们的工作。

许可证

本模型基于Apache 2.0许可证发布。

引用

若在研究中使用本模型，请引用：

@misc{metinovadilet2025kyrgyzbert,  
  author = {Metinov Adilet},  
  title = {KyrgyzBert: 吉尔吉斯语小规模BERT模型},  
  year = {2025},  
  howpublished = {Hugging Face},  
  url = {https://huggingface.co/metinovadilet/KyrgyzBert}  
}  

联系方式

如有疑问，请通过Hugging Face或邮件联系Metinov Adilet：metinovadilet@gmail.com

Ulutsoft合作声明