库名称: transformers 基础模型:

• meta-llama/Llama-3.2-3B-Instruct 任务标签: 文本摘要 示例输入:
• 文本: "我们正在测试这个。输出似乎有问题。"

您是否在寻找一款能够生成更符合人类偏好的多领域摘要工具？

我们的SummLlama3.2-3B可能就是您需要的解决方案！

SummLlama3.2-3B基于Llama3.2-3B-Instruct初始化，并通过基于大规模（超过10万条）摘要反馈的直接偏好优化（DPO）进行额外训练。

这些反馈涵盖了从短文本到长文本的各类输入文档，包括对话和非对话形式，并跨越七个不同领域：

• 四个非对话领域：新闻、生活方式、报告、医疗
• 三个对话领域：日常生活、访谈、会议

以下是自动化评估结果：

请参阅我们的论文了解如何在文本摘要中利用LLM生成的反馈。

SummLlama3-70B,

https://huggingface.co/DISLab/SummLlama3-8B

https://huggingface.co/DISLab/SummLlama3-70B

SummLlama3.1系列

https://huggingface.co/DISLab/SummLlama3.1-8B

https://huggingface.co/DISLab/SummLlama3.1-70B

SummLlama3.2系列

https://huggingface.co/DISLab/SummLlama3.2-3B

推荐的文本摘要提示模板：

我们建议使用以下提示模板获取摘要，因为模型训练时采用了此格式。

def format_chat_template(document):
    instruction = "请对输入文档进行摘要。"
    row_json = [{"role": "user", "content": f"以下是一个描述任务的指令。请撰写一个恰当完成该请求的响应。\n\n### 指令:\n{instruction}\n\n### 输入:\n{document}\n\n### 响应:\n"}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

以下是我们的摘要工具的简要介绍：

不同于依赖昂贵的人工反馈，我们利用大型语言模型（LLM）生成的高质量、多维度、细粒度的反馈。

该模型在忠实度、完整性和简洁性方面表现卓越，这三个方面是人类判断优质摘要的关键标准。

• 忠实度：摘要工具不会篡改输入文本中的信息，也不会添加任何无法从输入文本直接推断的内容。
• 完整性：摘要工具确保输出摘要包含输入文本中的所有关键信息。
• 简洁性：摘要工具避免在输出中包含非关键信息，保持摘要的简明和聚焦。

基于我们包括人工和自动化评估在内的全面评估，SummLlama3在摘要质量上相比原始Llama3系列有显著提升。

以下是评估结果：

人工评估

使用FineSurE的自动化评估

示例

以下示例展示了SummLlama3-8B在以下文档上的摘要相比Llama3-8/70B-Instruct的改进：

SummLlama3-8B的摘要更符合人类偏好，原因如下：

核心聚焦： 摘要准确抓住了对话主旨——感恩节晚餐安排，突出确认过程、携带物品讨论及最终带红酒的决定，保持了核心脉络。

关键事实涵盖： 摘要完整呈现了人物2最初提议带派到改带红酒的关键转折，其他摘要往往简化这一过程，而SummLlama3-8B完整捕捉了交互重点。

清晰简洁： 摘要结构简明，剔除冗余细节，清晰呈现讨论脉络与结果。事件逻辑顺序完整，确保叙事流畅性。

角色定位明确： 摘要明确区分主人（人物1）与客人保罗（人物2）的角色，比其它摘要更清晰地呈现人物关系。