license: mit language:

• 英文
• 俄文 tags:
• GPT3
• 转换器

🗿 俄语GPT-3.5 13B

面向俄语的语言模型。正如其名所示，该模型拥有130亿参数。这是我们迄今最大的模型，曾用于训练GigaChat（详见文章）。

数据集

模型基于300GB多领域数据预训练，并额外使用100GB代码和法律文档进行训练。数据集结构如下：

训练数据经过去重处理，采用64位哈希值保留唯一文本，并通过zlib4压缩率过滤文档，剔除压缩率极高或极低的文本。

技术细节

使用Deepspeed和Megatron库训练，在3000亿token数据集上训练3个周期，约45天（512张V100显卡）。随后在200张A100显卡上以2048序列长度微调1个周期（约20天），使用额外数据（见上文）。

最终训练后，该模型俄语困惑度约为8.8。

使用示例

尝试不同生成策略以获得更佳效果。

request = "程序员题材的诗可以这样写："

encoded_input = tokenizer(request, return_tensors='pt', \
                          add_special_tokens=False).to('cuda:0')
output = model.generate(
    **encoded_input,
    num_beams=2,
    do_sample=True,
    max_new_tokens=100
)

print(tokenizer.decode(output[0], skip_special_tokens=True))

>>> 程序员题材的诗可以这样写：

    程序员坐在椅中，
    写着关于爱情的诗行，
    他写啊，写啊，写啊...
    却什么也写不出来！

request = "神经网络是"

encoded_input = tokenizer(request, return_tensors='pt', \
                          add_special_tokens=False).to('cuda:0')
output = model.generate(
    **encoded_input,
    num_beams=4,
    do_sample=True,
    max_new_tokens=100
)

print(tokenizer.decode(output[0], skip_special_tokens=True))

>>> 神经网络是由大量相互连接的神经元组成的数学模型。
    通过电信号传递信息，可在计算机上模拟实现。
    它能解决传统数学方法难以处理的问题。

request = "加加林进入太空是在"

encoded_input = tokenizer(request, return_tensors='pt', \
                          add_special_tokens=False).to('cuda:0')
output = model.generate(
    **encoded_input,
    num_beams=2,
    do_sample=True,
    max_new_tokens=100
)

print(tokenizer.decode(output[0], skip_special_tokens=True))

>>> 加加林进入太空是在1961年。这是人类历史上首次太空航行。
    尤里·加加林乘坐东方1号宇宙飞船完成壮举。
    飞船从拜科努尔航天发射场升空。