语言:

• 英语 标签:
• 摘要生成 数据集:
• ccdv/WCEP-10 评估指标:
• ROUGE 模型索引:
• 名称: ccdv/lsg-bart-base-4096-wcep 结果: []

Transformers版本 >= 4.36.1
此模型依赖自定义建模文件，需添加trust_remote_code=True参数
详情参见#13467

LSG相关论文见ArXiv链接。
转换脚本及GitHub仓库见此处。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("ccdv/lsg-bart-base-4096-wcep", trust_remote_code=True)
model = AutoModelForSeq2SeqLM.from_pretrained("ccdv/lsg-bart-base-4096-wcep", trust_remote_code=True)

text = "替换为您需要的文本。"
pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer, device=0)
generated_text = pipe(text, truncation=True, max_length=64, no_repeat_ngram_size=7)

ccdv/lsg-bart-base-4096-wcep

本模型是基于ccdv/lsg-bart-base-4096在ccdv/WCEP-10 roberta数据集上微调的版本。
测试集表现如下：

较小块尺寸（更低资源消耗）下的表现：

模型描述

该模型采用局部-稀疏-全局注意力机制处理长序列：

模型参数约1.45亿（6层编码器-6层解码器）。
模型基于BART-base进行热启动，经改造后支持长序列处理（仅编码器）并完成微调。

用途与限制

需补充更多信息

训练与评估数据

需补充更多信息

训练流程

训练超参数

训练采用以下超参数：

• 学习率：8e-05
• 训练批次大小：8
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：32
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 学习率预热比例：0.1
• 训练轮次：10.0

生成超参数

生成阶段采用以下超参数：

• 数据集名称：ccdv/WCEP-10
• 数据集配置名：roberta
• 评估批次大小：8
• 评估样本数：1022
• 早停机制：启用
• 忽略填充符损失：启用
• 长度惩罚系数：2.0
• 最大生成长度：64
• 最小生成长度：0
• 束搜索数：5
• 禁止重复n元语法：无限制
• 随机种子：123

框架版本

• Transformers 4.18.0
• PyTorch 1.10.1+cu102
• Datasets 2.1.0
• Tokenizers 0.11.6