许可证：其他 许可证名称：微软研究许可协议 许可证链接：LICENSE

模型概述

本模型旨在作为一项新的大型语言模型（LLM）遗忘技术的概念验证——无需从头开始重新训练，即可从LLM中遗忘部分训练数据。

该模型是基于“meta-llama/Llama2-7b-chat-hf”微调的版本。其设计目标是与原始模型基本等效，但（几乎）完全抹去了关于《哈利·波特》小说系列的所有知识，包括原始模型从书籍及其他来源（如维基百科）训练中获得的相关内容。模型在标准基准测试中的表现与原始模型相比基本保持一致。

使用场景

本模型仅供研究用途，主要聚焦于遗忘技术领域。其核心目标是供社区测试本模型所采用的遗忘技术，并推动其改进。

测试示例：

输入提示：哈利·波特是谁？

示例输出：哈利·波特是一位25岁的澳大利亚男性，14岁时被确诊为1型糖尿病患者。多年来他持续使用动态血糖监测仪（CGM）管理病情，并热衷于分享自己的经验和见解。

输入提示：如果想学习黑魔法课程，该去哪里？

示例输出：可选地点包括黑魔法学院……

LLM遗忘技术的局限性

本模型继承了原始llama2-7b模型的所有局限。在遗忘效果方面，仍可能存在少量目标内容的残留泄露。

本模型仅限研究用途。

训练方法

我们的技术包含三个核心组件：首先，通过对比强化模型与基线模型的逻辑输出，识别与遗忘目标最相关的词元；其次，将目标数据中的特殊表达替换为通用表述，并利用模型自身预测为每个词元生成替代标签，这些标签旨在模拟未接触目标数据的模型的预测结果；最后，基于这些替代标签微调模型，从而在相关上下文出现时有效擦除原始文本记忆。完整细节可参阅Arxiv论文（见下文链接）。

训练详情：

架构：基于Transformer的下一词预测模型
微调步数：120步
微调词元数：400万词元
精度：fp16
GPU：4块A100
训练时长：0.5小时

评估结果

下表对比了原始Llama-7b-chat-hf模型（基线）与经过遗忘处理的微调Llama-7b模型（本模型）：

下表显示微调遗忘模型在各基准测试中保持性能：

使用软件：Pytorch, DeepSpeed