语言: ["俄语", "英语"] 标签:

• 俄语 许可证: mit 小部件示例:
• 文本: "fill | Почему они не ___ на меня?"

这是google/mt5-base的精简版本，仅保留部分俄语和英语嵌入特征。俄语技术博客提供了更多细节：https://habr.com/ru/post/581932/

该模型已针对以下句子或短段落任务进行微调：

• 翻译（translate ru-en与translate en-ru）
• 文本复述（paraphrase）
• 文本填空（fill）。空缺处可用___或_3_标记，其中3表示需插入的大致单词数
• 混乱词序还原（assemble）
• 文本简化（simplify）
• 对话生成（基于小说的reply和网络论坛的answer）
• 开放域问答（comprehend）
• 文本提问生成（ask）
• 新闻标题生成（headline）

每个任务中，任务名称与输入文本通过|分隔符连接。

运行示例代码：

# !pip install transformers sentencepiece
import torch
from transformers import T5ForConditionalGeneration, T5Tokenizer
tokenizer = T5Tokenizer.from_pretrained("cointegrated/rut5-base-multitask")
model = T5ForConditionalGeneration.from_pretrained("cointegrated/rut5-base-multitask")

def generate(text, **kwargs):
    inputs = tokenizer(text, return_tensors='pt')
    with torch.no_grad():
        hypotheses = model.generate(**inputs, num_beams=5, **kwargs)
    return tokenizer.decode(hypotheses[0], skip_special_tokens=True)

任务应用示例：

print(generate('translate ru-en | Каждый охотник желает знать, где сидит фазан.'))
# 每个猎人都想知道野鸡在哪里

print(generate('paraphrase | Каждый охотник желает знать, где сидит фазан.', 
               encoder_no_repeat_ngram_size=1, repetition_penalty=0.5, no_repeat_ngram_size=1))
# 每个渔夫都渴望知道鱼群的位置

print(generate('fill | Каждый охотник _3_, где сидит фазан.'))
# 凝望着树林深处

print(generate('assemble | охотник каждый знать фазан сидит'))
# 每个猎人都知道野鸡蹲守的位置

print(generate('simplify | Местным продуктом-специалитетом с защищённым географическим наименованием по происхождению считается люнебургский степной барашек.', max_length=32))
# 吕讷堡草原羊是受保护地理标志的地方特产

print(generate('reply | Помогите мне закадрить девушку'))
# 你具体需要什么帮助？

print(generate('answer | Помогите мне закадрить девушку'))
# 建议先了解她的兴趣爱好

print(generate("comprehend | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо. Вопрос: откуда приехал Морган?"))
# 澳大利亚

print(generate("ask | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо.", max_length=32))
# 羊农与牧场主间的土地冲突背景下发生了什么故事？

print(generate("headline | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо.", max_length=32))
# 澳籍羊农与女牧场主的土地纠纷爱情故事

强烈建议针对特定任务进行二次微调以获得最佳效果。