语言:

• 俄语 标签:
• PyTorch
• Transformers 缩略图: "https://github.com/sberbank-ai/ru-gpts"

基于GPT2的俄语小规模GPT3模型

模型架构设计、预训练及评估方法详见我们的预印本论文：面向俄语的预训练Transformer语言模型家族。

该模型由SberDevices团队使用transformers框架进行预训练，序列长度为1024，训练数据量达800亿token（约3个epoch）。后续通过2048上下文窗口进行了微调。

在32块GPU上总计训练时间约为一周。

作者

• NLP核心研发团队Telegram频道:
  • 德米特里·兹米特罗维奇

引用格式

@misc{zmitrovich2023family,
      title={面向俄语的预训练Transformer语言模型家族}, 
      author={德米特里·兹米特罗维奇 and 亚历山大·阿布拉莫夫 and 安德烈·卡尔梅科夫 and 玛丽亚·吉洪诺娃 and 叶卡捷琳娜·塔克塔舍娃 and 丹尼尔·阿斯塔富罗夫 and 马克·鲍申科 and 阿尔乔姆·斯涅吉列夫 and 塔季扬娜·莎夫琳娜 and 谢尔盖·马尔科夫 and 弗拉迪斯拉夫·米哈伊洛夫 and 阿莲娜·费诺格诺娃},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}