语言: 英语
许可证: Apache-2.0
数据集:

• cnn_dailymail
  标签:
• 摘要生成
• BART

基于CNN/DailyMail微调的BART基础模型

• 本模型是在CNN/DailyMail摘要数据集上微调的bart-base模型，采用Ainize Teachable-NLP实现。

BART模型由Mike Lewis、Yinhan Liu、Naman Goyal、Marjan Ghazvininejad、Abdelrahman Mohamed、Omer Levy、Ves Stoyanov和Luke Zettlemoyer于2019年10月29日提出。根据论文摘要：

BART采用标准的序列到序列/机器翻译架构，包含双向编码器（类似BERT）和自左向右解码器（类似GPT）。

预训练任务包括随机打乱原句顺序，以及创新的文本填充方案——用单个掩码标记替换文本片段。

BART在文本生成任务上经过微调后表现尤为出色，同时在理解任务中也表现优异。在GLUE和SQuAD基准测试中，其性能与训练资源相当的RoBERTa持平；在抽象对话、问答和摘要生成等任务中创下多项最先进记录，ROUGE指标最高提升6分。

作者代码库：
https://github.com/pytorch/fairseq/tree/master/examples/bart

使用方式

Python代码

from transformers import PreTrainedTokenizerFast, BartForConditionalGeneration

# 加载模型与分词器
tokenizer = PreTrainedTokenizerFast.from_pretrained("ainize/bart-base-cnn")
model = BartForConditionalGeneration.from_pretrained("ainize/bart-base-cnn")

# 编码输入文本
input_text = '(CNN)——韩国国防部周二宣布，针对有关前美军基地有毒化学物质倾倒的报告展开调查。此次检测源于美军在韩国领土掩埋化学品的指控。首个检测点位于首尔以西的前默瑟营地，由军方、政府和民间联合工作组执行。韩国国防部声明称："将在据称掩埋有毒化学物质的区域采集土壤和地下水样本"。检测完成后，政府将决定如何对80余处前基地展开进一步检测。本月初，一名美国退伍军人指控20世纪70年代末在韩国美军基地掩埋橙剂桶，引发警报。其两名战友对位于首尔东南约300公里的卡罗尔营地的指控予以佐证。卡罗尔营地特遣队负责人John Johnson中将表示："自收到初始指控后，我们一直与韩国政府密切合作。如发现健康风险证据，我们将立即处理。"美韩联合调查组正在卡罗尔营地验证指控真实性。越战期间，美军曾用飞机喷洒橙剂破坏丛林植被以暴露游击队员。据退伍军人事务部称，接触该化学品可能导致多种疾病，包括特定癌症和神经障碍，还与出生缺陷有关。记者Yoonjung Seo对本文亦有贡献。'

input_ids = tokenizer.encode(input_text, return_tensors="pt")

# 生成摘要文本ID
summary_text_ids = model.generate(
    input_ids=input_ids,
    bos_token_id=model.config.bos_token_id,
    eos_token_id=model.config.eos_token_id,
    length_penalty=2.0,
    max_length=142,
    min_length=56,
    num_beams=4,
)

# 解码文本
print(tokenizer.decode(summary_text_ids[0], skip_special_tokens=True))

API服务

您可通过ainize平台体验该模型。