语言:

• 俄语 标签:
• PyTorch
• Transformers 缩略图: "https://github.com/sberbank-ai/ru-gpts"

rugpt3large_基于_gpt2

模型架构设计、预训练和评估记录在我们的预印本中：俄语预训练Transformer语言模型家族。

该模型由SberDevices团队使用transformers库，在80B词元上以序列长度1024训练了3个周期。随后，模型以序列长度2048进行了1个周期的微调。

总训练时间约为14天，使用128个GPU处理1024上下文，以及几天时间使用16个GPU处理2048上下文。
测试集上的最终困惑度为13.6。

作者

• NLP核心团队研发 Telegram频道:
  • Dmitry Zmitrovich

引用我们

@misc{zmitrovich2023family,
      title={俄语预训练Transformer语言模型家族}, 
      author={Dmitry Zmitrovich and Alexander Abramov and Andrey Kalmykov and Maria Tikhonova and Ekaterina Taktasheva and Danil Astafurov and Mark Baushenko and Artem Snegirev and Tatiana Shavrina and Sergey Markov and Vladislav Mikhailov and Alena Fenogenova},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}