RuGPT3MediumSumGazeta

模型描述

这是一个基于rugpt3medium_based_on_gpt2的俄语抽象摘要生成模型。

预期用途与限制

使用方法

Colab链接: 点击访问

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "IlyaGusev/rugpt3medium_sum_gazeta"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

article_text = "..."

text_tokens = tokenizer(
    article_text,
    max_length=600,
    add_special_tokens=False, 
    padding=False,
    truncation=True
)["input_ids"]
input_ids = text_tokens + [tokenizer.sep_token_id]
input_ids = torch.LongTensor([input_ids])

output_ids = model.generate(
    input_ids=input_ids,
    no_repeat_ngram_size=4
)

summary = tokenizer.decode(output_ids[0], skip_special_tokens=False)
summary = summary.split(tokenizer.sep_token)[1]
summary = summary.split(tokenizer.eos_token)[0]
print(summary)

训练数据

• 数据集: Gazeta

训练过程

• 训练脚本: train.py
• 配置: gpt_training_config.json

评估结果

• 训练集: Gazeta v1 训练集
• 测试集: Gazeta v1 测试集
• 源文本最大长度: 600
• 目标文本最大长度: 200
• 禁止重复n-gram大小: 4
• 束搜索宽度: 5

• 训练集: Gazeta v1 训练集
• 测试集: Gazeta v2 测试集
• 源文本最大长度: 600
• 目标文本最大长度: 200
• 禁止重复n-gram大小: 4
• 束搜索宽度: 5

评估脚本: evaluate.py

标志: --language ru --tokenize-after --lower