库名称: peft
许可证: apache-2.0
基础模型: t5-small
标签:

• 训练生成
  数据集:
• xsum
  模型索引:
• 名称: lora微调xsum-t5摘要器
  结果: []
  语言:
• 英文
  管道标签: 文本摘要

lora微调xsum-t5摘要器

该模型是基于t5-small在xsum数据集上微调的版本。

模型描述

这是采用LoRA（低秩自适应）技术微调的T5-small模型，专为文本摘要任务优化。模型在XSum数据集上进行了抽象摘要训练。

使用示例

纯文本推理

from peft import PeftModel
from transformers import AutoModelForSeq2SeqLM
from transformers import AutoTokenizer
import torch

基础模型 = AutoModelForSeq2SeqLM.from_pretrained("t5-small")
我的模型 = PeftModel.from_pretrained(基础模型, "Lakshan2003/finetuned-t5-xsum")

def 测试peft摘要器(文本, 模型, 最大长度=128, 最小长度=30):
    """
    测试加载的PEFT摘要模型
    
    参数:
        文本 (str): 待摘要的输入文本
        模型: 已加载的PEFT模型
        最大长度 (int): 摘要最大长度
        最小长度 (int): 摘要最小长度
    """
    # 加载基础模型的tokenizer
    tokenizer = AutoTokenizer.from_pretrained("Lakshan2003/finetuned-t5-xsum")
    
    # 将模型移至GPU（如果可用）
    设备 = "cuda" if torch.cuda.is_available() else "cpu"
    模型 = 模型.to(设备)
    
    # 准备输入文本
    前缀 = "summarize: "
    输入文本 = 前缀 + 文本
    
    # 分词处理
    输入 = tokenizer(输入文本, return_tensors="pt", max_length=512, truncation=True)
    输入 = {k: v.to(设备) for k, v in 输入.items()}
    
    # 生成摘要
    with torch.no_grad():
        输出id = 模型.generate(
            input_ids=输入["input_ids"],
            attention_mask=输入["attention_mask"],
            max_length=最大长度,
            min_length=最小长度,
            num_beams=4,
            length_penalty=2.0,
            early_stopping=True,
            no_repeat_ngram_size=3
        )
    
    # 解码摘要
    摘要 = tokenizer.decode(输出id[0], skip_special_tokens=True)
    
    return 摘要

# 测试文本
测试文本 = """
联合国警告气候变化对人类文明构成前所未有的威胁。在一份里程碑式报告中，科学家详细说明了气温上升如何影响从天气模式到粮食生产的方方面面。报告强调，若不立即采取实质性行动减少温室气体排放，世界将面临严重后果，包括海平面上升、极端天气事件频发和大范围生态系统崩溃。许多国家已承诺减少碳排放，但专家表示当前承诺不足以预防气候变化的最严重影响。报告还指出气候变化对发展中国家造成的不成比例影响，这些国家通常缺乏适应条件变化的资源。
"""

# 生成摘要
摘要 = 测试peft摘要器(测试文本, 我的模型)

print("原文:")
print(测试文本)
print("\n生成摘要:")
print(摘要)

预期用途与限制

需要补充更多信息

训练与评估数据

需要补充更多信息

训练过程

训练超参数

训练时使用以下超参数:

• 学习率: 2e-05
• 训练批次大小: 4
• 评估批次大小: 4
• 随机种子: 42
• 梯度累积步数: 2
• 总训练批次大小: 8
• 优化器: 使用adamw_torch，参数beta=(0.9,0.999)，epsilon=1e-08，无额外优化器参数
• 学习率调度类型: linear
• 训练轮数: 1
• 混合精度训练: Native AMP

框架版本

• PEFT 0.14.0
• Transformers 4.47.0
• Pytorch 2.5.1+cu121
• Datasets 3.2.0
• Tokenizers 0.21.0