AIbase

R

Rugpt3medium Based On Gpt2

由 ai-forever 开发
基于GPT-2架构的俄语预训练语言模型，由SberDevices团队开发，支持1024序列长度，训练数据量达800亿token。
大型语言模型
Transformers
其他
#俄语生成#长文本建模#大模型预训练
下载量 9,710
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

该模型是一个俄语预训练Transformer语言模型，主要用于俄语文本生成和理解任务。

模型特点

大规模预训练
模型在800亿token的俄语数据上进行预训练，具有强大的语言理解能力。
长序列支持
支持1024的序列长度，后续微调扩展到2048token的上下文窗口。
高效训练
在64块GPU上仅用16天完成训练，展示了高效的训练能力。

模型能力

俄语文本生成
俄语文本理解

使用案例

自然语言处理
俄语文本生成
可用于生成俄语文章、对话等文本内容。
俄语语言理解
可用于俄语文本分类、情感分析等任务。