许可证：Apache-2.0
支持语言：

• 俄语
• 英语
  库名称：transformers
  任务标签：特征提取

BERT基础版

预训练的双向编码器，适用于俄语文本。
该模型基于大规模文本语料（含公开社交数据）通过标准MLM目标训练而成。
详见「训练细节」章节。

⚠️ 此版本仅包含编码器部分，未加载任何预训练头部模块。

• 开发团队：deepvk
• 模型类型：BERT架构
• 适用语言：以俄语为主，含少量其他语言
• 许可协议：Apache 2.0

快速使用指南

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/bert-base-uncased")
model = AutoModel.from_pretrained("deepvk/bert-base-uncased")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

训练细节

基于NVIDIA开源代码训练，具体流程参见预训练文档。

训练数据

总数据量250GB，经严格过滤。
混合来源包括：维基百科、书籍及社交语料库。

架构参数

性能评估

基于Russian Super Glue开发集测试，各任务最佳结果已加粗标注。
除蒸馏版DeBERTa外，所有对比模型规模相同。