语言:

• 俄语 标签:
• PyTorch
• Transformers 缩略图: "https://github.com/sberbank-ai/model-zoo"

ruT5-large 模型

该模型架构设计、预训练及评估过程记录于我们的预印本论文：俄语预训练Transformer语言模型家族。

本模型由SberDevices团队训练开发。

• 任务类型: 文本到文本生成
• 模型结构: 编码器-解码器
• 分词器: BPE编码
• 词表规模: 32,101
• 参数量: 7.37亿
• 训练数据量: 300GB

研发团队

• NLP核心研发团队Telegram频道:
  • 德米特里·兹米特罗维奇

引用格式

@misc{zmitrovich2023family,
      title={俄语预训练Transformer语言模型家族}, 
      author={德米特里·兹米特罗维奇 等},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}