许可证：apache-2.0
数据集：

• sjsq/PrivacyPolicy
  语言：
• en

基于Llama2-7B-Chat模型进行隐私政策问答与摘要的微调

作者：Chris Puzzo 与 Christain Jackson

项目所属：Comp741/841课程

README更新日期：2024年5月22日

本项目核心目标是通过PEFT（参数高效微调）和QLoRA（量化低秩适配）技术对Meta的Llama 2 Transformer模型进行微调，使其具备解析隐私政策的能力。

隐私政策文本通常晦涩难懂且充满技术术语，因此开发能解答疑问并生成摘要的工具将极大帮助用户理解个人数据的使用方式。具体操作指南详见HOWTO.md文件。

环境配置

本工具设计在Colab平台运行，依赖Hugging Face Transformers库。更多信息请访问GitHub仓库。模型训练代码基于Maxime Labonne提供的Llama训练方案。

由于直接使用Colab预装依赖，本仓库未提供requirements文件。

使用方法

通过Hugging Face Transformers库加载模型：

# 直接加载模型
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("ChrisPuzzo/llama-2-7b-privacy")
model = AutoModelForCausalLM.from_pretrained("ChrisPuzzo/llama-2-7b-privacy")

测试结果

我们进行了小规模测试，但获得的数据参考性有限。如ROUGE评分表所示，模型表现未达预期。但我们认为ROUGE指标可能并非最合适的评估标准。

后续计划

下一步将使用新发现的隐私政策摘要数据集继续训练优化模型。