许可证：Apache-2.0
语言：

• 俄语
• 英语
  库名称：transformers
  管道标签：特征提取

RoBERTa-base基础模型

针对俄语预训练的双向编码器模型。
该模型基于大规模文本语料（含公开社交数据）采用标准MLM目标训练而成。
详见「训练细节」章节获取更多信息。

⚠️ 本模型仅包含编码器部分，未加载任何预训练头部模块。

• 开发团队: deepvk
• 模型类型: RoBERTa
• 支持语言: 以俄语为主，含少量其他语言
• 许可证: Apache 2.0

快速使用指南

from transformers import AutoTokenizer, AutoModel  

tokenizer = AutoTokenizer.from_pretrained("deepvk/roberta-base")  
model = AutoModel.from_pretrained("deepvk/roberta-base")  

text = "Привет, мир!"  

inputs = tokenizer(text, return_tensors='pt')  
predictions = model(**inputs)  

训练细节

训练数据

总数据量500GB原始文本，混合以下来源：
维基百科、书籍、推特评论、Pikabu、Proza.ru、影视字幕、新闻网站、社交语料库。

训练超参数

使用8块A100显卡持续训练约22天。

架构参数

性能评估

基于Russian Super Glue开发集测试，各任务最佳结果已加粗标注。
除蒸馏版DeBERTa外，所有模型规模相同。