这是一个基于google/mt5-small模型的小型俄语改写器。
其改写性能较差，但可以通过微调来提升该任务或其他任务的表现。

该模型是通过对alenusch/mt5small-ruparaphraser模型进行改造而来，移除了其中96%与俄语无关或使用频率较低的词汇。

• 原始模型拥有3亿参数，其中2.56亿属于输入输出嵌入层。
• 将sentencepiece词汇表从25万缩减至2万后，模型参数降至6500万，体积从1.1GB压缩到246MB。
  • 新词汇表前5千个词条取自原始mt5-small模型。
  • 后续1.5万个词条是通过对莱比锡语料库中的俄语网络语料进行分词统计得出的高频词汇。

使用方式如下：

# !pip install transformers sentencepiece
import torch
from transformers import T5ForConditionalGeneration, T5Tokenizer

tokenizer = T5Tokenizer.from_pretrained("cointegrated/rut5-small")
model = T5ForConditionalGeneration.from_pretrained("cointegrated/rut5-small")

text = 'Ехал Грека через реку, видит Грека в реке рак。'
inputs = tokenizer(text, return_tensors='pt')
with torch.no_grad():
    hypotheses = model.generate(
        **inputs, 
        do_sample=True, top_p=0.95, num_return_sequences=10, 
        repetition_penalty=2.5,
        max_length=32,
    )
for h in hypotheses:
    print(tokenizer.decode(h, skip_special_tokens=True))