语言:

• 俄语 标签:
• PyTorch
• Transformers
• bert
• exbert 缩略图: "https://github.com/sberbank-ai/model-zoo" 管道标签: 填充掩码

ruBert-large 俄语大模型

该模型架构设计、预训练及评估方法详见我们的预印本论文：俄语预训练Transformer语言模型家族。

本模型由SberDevices团队预训练完成。

• 任务类型: 掩码填充
• 模型结构: 编码器
• 分词器: BPE算法
• 词表规模: 120,138词
• 参数量: 4.27亿
• 训练数据量: 30GB

研发团队

• NLP核心研发团队Telegram频道:
  • 德米特里·兹米特罗维奇

引用格式

@misc{zmitrovich2023family,
      title={俄语预训练Transformer语言模型家族}, 
      author={德米特里·兹米特罗维奇 和 亚历山大·阿布拉莫夫 和 安德烈·卡尔梅科夫 和 玛丽亚·吉洪诺娃 和 叶卡捷琳娜·塔克塔舍娃 和 丹尼尔·阿斯塔富罗夫 和 马克·鲍申科 和 阿尔乔姆·斯涅吉列夫 和 塔季扬娜·莎夫琳娜 和 谢尔盖·马尔科夫 和 弗拉迪斯拉夫·米哈伊洛夫 和 阿莲娜·费诺格诺娃},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}