语言: ["俄语"] 标签:

• 俄语
• 释义
• 释义器
• 改写 许可证: MIT 示例:
• 文本: "Каждый охотник желает знать, где сидит фазан." 数据集:
• cointegrated/ru-paraphrase-NMT-Leipzig

这是一个俄语句子释义器，具体描述见这篇Habr文章。

建议使用该模型时配合encoder_no_repeat_ngram_size参数：

from transformers import T5ForConditionalGeneration, T5Tokenizer
MODEL_NAME = 'cointegrated/rut5-base-paraphraser'
model = T5ForConditionalGeneration.from_pretrained(MODEL_NAME)
tokenizer = T5Tokenizer.from_pretrained(MODEL_NAME)
model.cuda();
model.eval();

def paraphrase(text, beams=5, grams=4, do_sample=False):
    x = tokenizer(text, return_tensors='pt', padding=True).to(model.device)
    max_size = int(x.input_ids.shape[1] * 1.5 + 10)
    out = model.generate(**x, encoder_no_repeat_ngram_size=grams, num_beams=beams, max_length=max_size, do_sample=do_sample)
    return tokenizer.decode(out[0], skip_special_tokens=True)

print(paraphrase('Каждый охотник желает знать, где сидит фазан.'))
# 所有猎人都想知道野鸡坐在哪里。