语言:

• 俄语 标签:
• PyTorch
• Transformers
• bert
• exbert 任务标签: 填充掩码 缩略图: "https://github.com/sberbank-ai/model-zoo" 许可证: apache-2.0

ruBert-base 俄语基础版模型

该模型架构设计、预训练及评估方法详见我们的预印本论文：俄语预训练Transformer语言模型家族。

本模型由SberDevices团队预训练完成。

• 任务类型: 掩码填充
• 模型类型: 编码器
• 分词器: BPE
• 词典规模: 120,138
• 参数量: 1.78亿
• 训练数据量: 30GB

作者团队

• NLP核心研发团队Telegram频道:
  • 德米特里·兹米特罗维奇

引用格式

@misc{zmitrovich2023family,
      title={俄语预训练Transformer语言模型家族}, 
      author={德米特里·兹米特罗维奇 和 亚历山大·阿布拉莫夫 和 安德烈·卡尔梅科夫 和 玛丽亚·吉洪诺娃 和 叶卡捷琳娜·塔克塔舍娃 和 丹尼尔·阿斯塔富罗夫 和 马克·鲍申科 和 阿尔乔姆·斯涅吉列夫 和 塔季扬娜·莎夫琳娜 和 谢尔盖·马尔科夫 和 弗拉迪斯拉夫·米哈伊洛夫 和 阿莲娜·费诺格诺娃},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}