语言:

• 英语 许可协议:
• Apache-2.0
• BSD-3-Clause 标签:
• 摘要生成
• 抽取式
• 摘要
• 生成式
• 多任务
• 文档摘要 数据集:
• jordiclive/scored_summarization_datasets
• jordiclive/wikipedia-summary-dataset 评估指标:
• ROUGE

多功能摘要生成器（基于11B参数的google/flan-t5-xxl模型在多个摘要数据集上微调）

这是google/flan-t5-xxl模型在多个摘要数据集（xsum、wikihow、cnn_dailymail/3.0.0、samsum、scitldr/AIC、billsum、TLDR、wikipedia-summary）上微调的版本。

70%的数据还使用了contriever进行过滤，文本与摘要之间的余弦相似度阈值为0.6。

目标：打造一个适用于学术和通用场景的多功能摘要生成器。通过改变附加在源文档前的指令，可以控制生成的摘要类型。尽管训练时源文本的最大长度为512个标记，摘要最大长度为150个标记，但该模型在大量文本上表现良好。

使用方法

请查看Colab笔记本以了解具体用法。 模型期望在源文档前附加提示词以指示摘要类型，该模型训练时使用了大量（数百种）不同的提示词：

example_prompts = {
    "社交": "为以下社交媒体帖子生成简短摘要：",
    "十词": "用10-20个词总结以下文章：",
    "五词": "用0-5个词总结以下文章：",
    "百词": "用约100词总结以下文章：",
    "摘要": "为以下文本撰写约100词的摘要：",
    "简短": "提供以下文章的简短摘要：",
}

该模型还学会了通过"x-y词"或"约/大约/左右x词"等范围指定摘要长度。

提示词应以冒号结尾，以便模型输入格式化为例如"总结以下内容：\n\n{输入文本}"

安装transformers库后运行以下代码：

此流水线运行速度较慢，且不具备Colab中的某些分词参数。

from transformers import pipeline

summarizer = pipeline("summarization", "jordiclive/flan-t5-11b-summarizer-filtered", torch_dtype=torch.bfloat16)

raw_document = '在纽约州居住或工作必须年满18岁...'
prompt = "用10-20个词总结以下文章："
results = summarizer(
        f"{prompt} \n\n {raw_document}",
        num_beams=5,
        min_length=5,
        no_repeat_ngram_size=3,
        truncation=True,
        max_length=512,
    )

训练过程

• 训练采用BF16精度，使用deepspeed stage 2和CPU卸载，进行1个epoch的训练并监控验证损失。

硬件配置

• GPU数量：8块NVIDIA A100-SXM4-80GB
• CPU数量：48核

训练超参数

训练过程中使用的超参数如下：

• 学习率：3e-05
• 训练批次大小：4
• 评估批次大小：4
• 随机种子：42
• 分布式类型：多GPU
• 梯度累积步数：2
• 有效训练批次大小：64
• 优化器：Adam，参数betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：线性
• 预热步数：2000
• 训练轮数：4

框架版本

• Transformers 4.24.0
• Pytorch 1.9.1+cu111
• Deepspeed 0.7.4
• Pytorch-lightning 1.8.1