语言:

• 俄语 标签:
• PyTorch
• Transformers 缩略图: "https://github.com/sberbank-ai/model-zoo"

ruT5-base

模型架构设计、预训练及评估方法详见我们的预印本论文：面向俄语的预训练Transformer语言模型家族。

本模型由SberDevices训练开发。

• 任务类型: 文本到文本生成
• 模型结构: 编码器-解码器
• 分词器: BPE编码
• 词表规模: 32,101
• 参数量: 2.22亿
• 训练数据量: 300GB

作者

• NLP核心研发团队Telegram频道:
  • 德米特里·兹米特罗维奇

引用格式

@misc{zmitrovich2023family,
      title={面向俄语的预训练Transformer语言模型家族}, 
      author={德米特里·兹米特罗维奇 and 亚历山大·阿布拉莫夫 and 安德烈·卡尔梅科夫 and 玛丽亚·吉洪诺娃 and 叶卡捷琳娜·塔克塔舍娃 and 丹尼尔·阿斯塔富罗夫 and 马克·鲍申科 and 阿尔乔姆·斯涅吉列夫 and 塔季扬娜·莎夫琳娜 and 谢尔盖·马尔科夫 and 弗拉迪斯拉夫·米哈伊洛夫 and 阿莲娜·费诺格诺娃},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}