语言:

• 英语 任务标签: 摘要生成

模型概述

新闻文章师生抽象摘要生成器是基于BART-large的微调模型，采用StableBeluga-7B作为教师模型。该模型旨在为新闻文章提供高质量的抽象摘要，并在速度和计算资源使用方面提高效率。

模型详情

• 模型类型: 抽象摘要生成
• 基础模型: BART-large
• 教师模型: StableBeluga-7B
• 语言: 英语

数据集

• 来源: 从墨西哥报纸抓取的295,174篇新闻文章。
• 翻译: 使用Helsinki-NLP/opus-mt-es-en NLP模型将西班牙语文章翻译为英语。
• 教师摘要: 由StableBeluga-7B生成。

训练过程

微调过程利用StableBeluga-7B生成的教师观察（摘要）来训练轻量级BART模型。该方法旨在复现教师模型的摘要质量，同时实现更快的推理时间和更低的GPU内存使用。

性能表现

• 评估指标:
  • ROUGE1: 0.66
  • 余弦相似度: 0.90
• 推理速度: 比教师模型(StableBeluga-7B)快3倍
• 资源占用: 相比StableBeluga-7B显著减少GPU内存

目标

该模型的主要目标是提供轻量级摘要解决方案，在保持与教师模型(StableBeluga-7B)相似的高质量输出的同时，实现更高效率，适合在资源受限的环境中部署。

应用场景

该模型非常适合需要快速高效处理大量新闻文章摘要的应用，特别是在计算资源有限的环境中。

局限性

• 语言翻译: 初始从西班牙语到英语的翻译可能引入微小误差，影响摘要质量。
• 领域特异性: 专门针对新闻文章微调，在其他领域文本上的表现可能有所不同。

未来工作

未来改进可能包括:

• 对双语数据进行微调以消除翻译步骤
• 扩展数据集以涵盖更广泛的新闻来源和主题
• 探索进一步优化以减少推理时间和资源使用

结论

新闻文章师生抽象摘要生成器模型展示了高效提供高质量摘要的潜力，使其成为新闻内容处理及类似应用的宝贵工具。

使用方法:

# 加载模型
model = AutoModelForSeq2SeqLM.from_pretrained("JordiAb/BART_news_summarizer")
tokenizer = AutoTokenizer.from_pretrained("JordiAb/BART_news_summarizer")

# 新闻文章文本
article_text = """
洛杉矶湖人队将获得比预期更多的时间。这位四次NBA最有价值球员(MVP)续约两年8500万美元，将他在加利福尼亚的效力期延长至2023年。2018年，这位"国王"已签下1.53亿美元合同，在加盟该球队的第二个赛季，他带领球队在奥兰多隔离园区夺得总冠军。现年35岁（12月30日将满36岁）并拥有17个赛季经验的勒布朗，仍被认为是NBA最优秀（或最优秀之一）的球员。您可以阅读："梅赛德斯找到刘易斯·汉密尔顿的替代者"詹姆斯刚带领湖人队夺得自2010年以来的首个NBA总冠军，并当选总决赛MVP；他在上个赛季首次以场均10.2次助攻领跑联盟，同时场均贡献25.3分和7.8个篮板。詹姆斯已适应好莱坞生活，他将参与《太空大灌篮》续集的拍摄，该片将于明年上映。
"""

# 文本分词
inputs = tokenizer(article_text, return_tensors='pt')
# 生成摘要
with torch.no_grad():
  summary_ids = model.generate(
    inputs['input_ids'],
    num_beams=4,
    max_length=250,
    early_stopping=True
  )
# 解码摘要
summary = tokenizer.decode(
  summary_ids[0],
  skip_special_tokens=True
)