语言: ["俄语"] 标签:

• 俄语
• 摘要生成 数据集:
• IlyaGusev/gazeta
• csebuetnlp/xlsum
• mlsum
• wiki_lingua 许可证: mit 小部件:
• 文本: "埃菲尔铁塔高度为324米（1063英尺），约等同于81层楼高，是巴黎最高建筑。塔基呈正方形，每边长125米（410英尺）。建造期间，埃菲尔铁塔超越华盛顿纪念碑成为世界最高人造建筑，并保持这一称号长达41年，直至1930年纽约克莱斯勒大厦竣工。它是首个达到300米高度的建筑。1957年因塔顶加装广播天线，现比克莱斯勒大厦高出5.2米（17英尺）。除发射塔外，埃菲尔铁塔是法国第二高的独立结构，仅次于米约高架桥。"

这是一个基于cointegrated/rut5-base-multitask并在4个数据集上微调的俄语抽象摘要生成模型。

使用方法如下：

import torch
from transformers import T5ForConditionalGeneration, T5Tokenizer
MODEL_NAME = 'cointegrated/rut5-base-absum'
model = T5ForConditionalGeneration.from_pretrained(MODEL_NAME)
tokenizer = T5Tokenizer.from_pretrained(MODEL_NAME)
model.cuda();
model.eval();

def summarize(
    text, n_words=None, compression=None,
    max_length=1000, num_beams=3, do_sample=False, repetition_penalty=10.0, 
    **kwargs
):
    """
    文本摘要功能
    以下参数互斥：
    - n_words (int) 指定生成的大致单词数
    - compression (float) 指定摘要与原文的长度比例
    """
    if n_words:
        text = '[{}] '.format(n_words) + text
    elif compression:
        text = '[{0:.1g}] '.format(compression) + text
    x = tokenizer(text, return_tensors='pt', padding=True).to(model.device)
    with torch.inference_mode():
        out = model.generate(
            **x, 
            max_length=max_length, num_beams=num_beams, 
            do_sample=do_sample, repetition_penalty=repetition_penalty, 
            **kwargs
        )
    return tokenizer.decode(out[0], skip_special_tokens=True)

text = """埃菲尔铁塔高度为324米（1063英尺），约等同于81层楼高，是巴黎最高建筑。塔基呈正方形，每边长125米（410英尺）。建造期间，埃菲尔铁塔超越华盛顿纪念碑成为世界最高人造建筑，并保持这一称号长达41年，直至1930年纽约克莱斯勒大厦竣工。它是首个达到300米高度的建筑。1957年因塔顶加装广播天线，现比克莱斯勒大厦高出5.2米（17英尺）。除发射塔外，埃菲尔铁塔是法国第二高的独立结构，仅次于米约高架桥。"""
print(summarize(text))
# 埃菲尔铁塔达到了300米的高度。
print(summarize(text, n_words=10))
# 法国埃菲尔铁塔达到了300米的高度。