语言:

• 英文 标签:
• 更新摘要生成
• Longformer
• Transformers
• BART 评估指标:
• 编辑距离
• ROUGE
• BertScore 许可证:
• apache-2.0

基于BART Large与Longformer编码解码器的更新摘要生成模型

模型描述

本模型是基于Transformer架构的生成式序列到序列模型，支持长文档处理。核心架构结合了BART Large与Longformer编码解码器，以扩展输入文本的容纳长度。

使用场景与限制

使用方法

数据需按以下格式组织：每篇新增文章或证据前需添加<EV>标记，标题前加<t>，摘要前加<abs>。原始摘要也需采用相同格式。文章列表与原始摘要可按任意顺序拼接，但必须保留正确的分隔标记。

import torch
from transformers import LEDTokenizer, LEDForConditionalGeneration

tokenizer = LEDTokenizer.from_pretrained("hyesunyun/update-summarization-bart-large-longformer")
model = LEDForConditionalGeneration.from_pretrained("hyesunyun/update-summarization-bart-large-longformer")

input = "<EV> <t> 苦瓜对新诊断2型糖尿病患者的降血糖效果对比二甲双胍研究 <abs> 民族药理学依据：苦瓜(Momordica charantia L.)在亚洲传统医学中广泛用于糖尿病治疗。体外与动物实验显示其降血糖活性，但缺乏充足的人体研究证据。研究目的：评估三种剂量苦瓜对比二甲双胍的疗效与安全性。材料方法：开展为期4周的多中心随机双盲阳性对照试验。患者随机分为四组，分别接受苦瓜500毫克/日、1000毫克/日、2000毫克/日或二甲双胍1000毫克/日治疗。结果：二甲双胍组(-16.8; 95% CI, -31.2, -2.4 μmol/L)与苦瓜2000毫克/日组(-10.2; 95% CI, -19.1, -1.3 μmol/L)的果糖胺水平在第4周显著下降。苦瓜500与1000毫克/日组未见显著变化。结论：2000毫克/日苦瓜对2型糖尿病患者具有适度降糖效果，但疗效弱于1000毫克/日二甲双胍。<EV> <t> 苦瓜治疗2型糖尿病研究 <abs> 现有证据不足以支持推荐苦瓜用于2型糖尿病治疗。需进一步研究解决制剂标准化与质量控制问题。在建立临床实践指南前，需开展更多评估苦瓜效果的观察性试验。"
inputs_dict = tokenizer(input, padding="max_length", max_length=10240, return_tensors="pt", truncation=True)
input_ids = inputs_dict.input_ids
attention_mask = inputs_dict.attention_mask
global_attention_mask = torch.zeros_like(attention_mask)
# 对<s>标记启用全局注意力
global_attention_mask[:, 0] = 1

predicted_summary_ids = model.generate(input_ids, attention_mask=attention_mask, global_attention_mask=global_attention_mask)
print(tokenizer.batch_decode(predicted_summary_ids, skip_special_tokens=True))

局限性及偏差

需说明潜在问题及改进方案。

训练数据

基于预训练的LED模型，使用该GitHub仓库中的数据集进行微调。

训练流程

包括数据预处理、硬件配置、超参数设置等细节...

评估结果

BibTeX引用信息

@inproceedings{...,
  year={2021}
}