许可协议: mit
语言:

• 俄语
  任务标签: 文本摘要

FRED-T5 1.7B 摘要生成模型

该模型由SberDevices训练开发。

模型基于混合开源摘要数据集RussianNLP/Mixed-Summarization-Dataset进行俄语训练，使用前缀标记'<LM>'

使用方式

import torch
from transformers import GPT2Tokenizer, T5ForConditionalGeneration  
tokenizer = GPT2Tokenizer.from_pretrained('RussianNLP/FRED-T5-Summarizer',eos_token='</s>')
model = T5ForConditionalGeneration.from_pretrained('RussianNLP/FRED-T5-Summarizer')
device='cuda'
model.to(device)

input_text='<LM> 请缩写以下文本。\n 在翠绿丘陵环抱的村庄里，住着一位名叫伊万的老人。他的生活缓慢而规律。每天清晨，伊万都会到田间照料自己那一小块地。他种植土豆和胡萝卜，这是他的主要食物来源。夜晚老人常在壁炉旁读书，回忆青春岁月。乡村生活虽然艰辛，但伊万总能发现其中简单的快乐。'
input_ids=torch.tensor([tokenizer.encode(input_text)]).to(device)
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,
                    num_beams=5,
                    min_new_tokens=17,
                    max_new_tokens=200,
                    do_sample=True,
                    no_repeat_ngram_size=4,
                    top_p=0.9)
print(tokenizer.decode(outputs[0][1:]))

# 输出结果: 老人伊万在乡村过着规律生活，种植蔬菜并从简单事物中发现快乐。

作者团队

• Sber Devices:
  • 阿尔比娜·阿赫梅特加列娃
  • 伊利亚·库列绍夫
  • 弗拉德·列斯丘克
  • 亚历山大·阿布拉莫夫
  • 阿莲娜·费诺格诺娃

引用文献

@misc{akhmetgareeva2024summary,
      title={俄罗斯文本摘要研究：架构能否解决数据局限问题?},  
      author={阿尔比娜·阿赫梅特加列娃 和 伊利亚·库列绍夫 和 弗拉德·列斯丘克 和 亚历山大·阿布拉莫夫 和 阿莲娜·费诺格诺娃},
      year={2024},
}