许可证：apache-2.0
语言：
- "ru"
任务标签：文本摘要
基础模型：ai-forever/FRED-T5-large

这是一个基于GPT Week测试任务数据训练的Habr文章抽象摘要生成器，底层采用ai-forever/FRED-T5-large模型。

使用方法

使用时需进行文本前后处理，示例如下：

import re
from transformers import pipeline


clean_expr = re.compile(r"[\xa0\x1a\x16\x1b\x17\x15\u2004]")
spaces_expr = re.compile(r"\s{2,}")

def process_text(text: str) -> str:
    """执行文本前后处理"""
    text = clean_expr.sub(" ", text)
    text = spaces_expr.sub(" ", text)

    if "." in text:
        index = text.rindex(".")
        text = text[:index + 1]
    
    return text


summarizer = pipeline("summarization", model="basic-go/FRED-T5-large-habr-summarizer", device=0)

ARTICLE = """
（此处为示例文章内容，具体译文略）
"""

ARTICLE = process_text(ARTICLE)

response = summarizer(ARTICLE, max_new_tokens=360, num_beams=2, do_sample=True, top_k=100,
    repetition_penalty=2.5, length_penalty=1.0)

summary = process_text(response[0]["summary_text"])

print(summary)

# 输出示例摘要（译文略）

方法演进历程

不同方法在测试集上的指标对比：

初期发现的影响指标的问题：

• 字节序列生成问题：通过前后处理解决
• 未完成句末生成：通过截断后处理解决
• 文本片段重复改写：最终模型已显著改善，但偶现重复

1. SFT阶段

• 筛选训练集中metric > 0.65的数据
• 按4:1划分训练/验证集
• 4轮训练，学习率从1e-4递减

2. SFT+后处理

• 对模型输出应用示例中的process_text函数

3. SFT+DPO+后处理

• 用SFT模型在训练集上生成候选
• 进行1轮DPO训练（学习率1e-7）

4. 扩展数据+SFT+后处理

• 用前序模型在原训练集50%数据上生成候选
• 合并候选并筛选最优
• 新筛选metric > 0.65的数据集（扩容30%）
• 8轮训练（学习率从1e-4递减）

未成功方案

扩展数据+SFT+DPO[+后处理]组合出现训练不稳定和模型退化问题。

改进方向

当前第四方案仅利用约20%原始数据。通过调整生成参数可增加达标候选数量，预计更丰富的优质数据能进一步提升指标。