language:

• ru license: apache-2.0

FRED-T5大模型820M（全规模俄语增强降噪器T5）

模型架构设计、预训练及评估细节详见我们的预印本论文：面向俄语的预训练Transformer语言模型家族。

本模型由SberDevices训练完成。

架构基于T5构建。

包含24层网络结构，隐藏层维度为1024。更多细节参见config.json文件。

采用类似UL2的7种降噪器混合训练策略（https://arxiv.org/abs/2205.05131），但存在若干差异。

训练数据为俄语语料库（300GB），与ruT5模型使用相同数据集。

采用Bbpe分词器，词表大小50257+107个特殊标记。前缀标记包括：'<LM>'、'<SC1>'...'<SC6>'。

前期训练阶段（占整体时间50%）仅使用1%数据集（3GB），且各任务无前缀标记。

对于RSG任务，参照T5论文方法：先进行多任务联合训练，后选取最佳检查点进行专项训练。 RSG提交记录见 https://russiansuperglue.com/login/submit_info/2060

总训练时长约35天（使用160块V100 GPU）+5天（使用80块A100 GPU）。

使用指南（HuggingFace模型库）

import torch
from transformers import GPT2Tokenizer, T5ForConditionalGeneration 
tokenizer = GPT2Tokenizer.from_pretrained('ai-forever/FRED-T5-1.7B',eos_token='</s>')
model = T5ForConditionalGeneration.from_pretrained('ai-forever/FRED-T5-1.7B')
device='cuda'
model.to(device)

#前缀<LM>
lm_text='<LM>库图佐夫开始讲述他如何来到此地的故事。事情始于'
input_ids=torch.tensor([tokenizer.encode(lm_text)]).to(device)
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True)
print(tokenizer.decode(outputs[0][1:]))

# 输出结果: ，按照惯例，从他成为战俘开始。</s>

#前缀<SC1>
lm_text='<SC1>库图佐夫开始讲述他的<extra_id_0>故事。事情始于他在军队服役时，曾在炮兵部队。'
input_ids=torch.tensor([tokenizer.encode(lm_text)]).to(device)
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True)
print(tokenizer.decode(outputs[0][1:]))

#输出结果: '<extra_id_0>生活经历</s>'

# 前缀<SC5>
lm_text='<SC5>库图佐夫开始讲述他的<extra_id_0>故事。事情始于他在军队服役时，曾在炮兵部队。'
input_ids=torch.tensor([tokenizer.encode(lm_text)]).to(device)
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True,max_length=100)
print(tokenizer.decode(outputs[0][1:]))

#输出结果: '<extra_id_0> </s>'

研发团队

• NLP核心研发团队电报频道：
  • 德米特里·兹米特罗维奇
  • 安德烈·卡尔梅科夫
  • 维塔利·卡杜林
  • 米哈伊尔·诺维科夫
  • 阿列克谢·霍罗希洛夫

Salute AI技术社区。

引用规范

@misc{zmitrovich2023family,
      title={面向俄语的预训练Transformer语言模型家族}, 
      author={德米特里·兹米特罗维奇 and 亚历山大·阿布拉莫夫 and 安德烈·卡尔梅科夫 and 玛丽亚·吉洪诺娃 and 叶卡捷琳娜·塔克塔舍娃 and 丹尼尔·阿斯塔富罗夫 and 马克·鲍申科 and 阿尔乔姆·斯涅吉列夫 and 塔季扬娜·莎夫琳娜 and 谢尔盖·马尔科夫 and 弗拉迪斯拉夫·米哈伊洛夫 and 阿莲娜·费诺格诺娃},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}