基于MLSUM西班牙语摘要数据集微调的西班牙语BERT2BERT（BETO）模型

模型架构

采用dccuchile/bert-base-spanish-wwm-cased（BERT基础架构）

数据集

MLSUM是首个大规模多语言摘要数据集。该数据集从在线新闻报纸采集，包含法语、德语、西班牙语、俄语和土耳其语五种语言的150万篇新闻与摘要配对样本。结合流行的CNN/Daily mail英语数据集，构成了可推动文本摘要领域新研究方向的大规模多语言语料库。基于前沿系统的跨语言对比分析揭示了现有技术偏差，这凸显了使用多语言数据集的重要性。

西班牙语MLSUM数据集

性能指标

使用方式

import torch
from transformers import BertTokenizerFast, EncoderDecoderModel
device = 'cuda' if torch.cuda.is_available() else 'cpu'
ckpt = 'mrm8488/bert2bert_shared-spanish-finetuned-summarization'
tokenizer = BertTokenizerFast.from_pretrained(ckpt)
model = EncoderDecoderModel.from_pretrained(ckpt).to(device)

def generate_summary(text):
    inputs = tokenizer([text], padding="max_length", truncation=True, max_length=512, return_tensors="pt")
    input_ids = inputs.input_ids.to(device)
    attention_mask = inputs.attention_mask.to(device)
    output = model.generate(input_ids, attention_mask=attention_mask)
    return tokenizer.decode(output[0], skip_special_tokens=True)
    
text = "输入待摘要文本..."
generate_summary(text)

由Manuel Romero/@mrm8488开发，并获Narrativa支持

西班牙制造，倾注❤️打造