🚀 我的LoRA微调AI生成文本检测器

这是一个使用LoRA进行微调的e5-small模型，用于序列分类任务。它经过优化，能够高精度地将文本分类为AI生成或人类撰写。

• 标签0：代表人类撰写的内容。
• 标签1：代表AI生成的内容。

🚀 快速开始

本模型可用于文本分类任务，特别是检测文本是否为AI生成。以下是使用示例：

# 这里可以添加使用该模型进行文本分类的示例代码，由于原文未提供，暂不展示具体代码

✨ 主要特性

• 高精度分类：能够准确区分AI生成和人类撰写的文本。
• 基于LoRA微调：使用LoRA（低秩自适应）技术进行微调，提高模型性能。
• 适用范围广：可应用于多种需要检测AI生成文本的场景。

📦 安装指南

由于原文未提供安装步骤，此部分暂不展示。

💻 使用示例

基础用法

# 这里可以添加基础使用该模型的代码示例，由于原文未提供，暂不展示具体代码

高级用法

# 这里可以添加高级场景下使用该模型的代码示例，由于原文未提供，暂不展示具体代码

📚 详细文档

模型详情

训练详情

• 数据集：
  • 10,000条推文和10,000条使用GPT - 4o - mini改写的推文。
  • 来自RAID - train的80,000条人类撰写文本。
  • 来自RAID - train的128,000条AI生成文本。
• 硬件：在单个NVIDIA A100 GPU上进行微调。
• 训练时间：约2小时。
• 评估指标： | 指标 | (原始) E5 - small | 微调后 | |------|------------------|--------| | 准确率 | 65.2% | 89.0% | | F1分数 | 0.653 | 0.887 | | AUC | 0.697 | 0.976 |

🔧 技术细节

本模型基于intfloat/e5-small基础模型，使用LoRA技术进行微调。LoRA通过在预训练模型的基础上引入低秩矩阵来减少可训练参数的数量，从而提高训练效率。在训练过程中，使用了特定的超参数，如学习率为5e-5，训练轮数为3等，以达到较好的分类效果。

📄 许可证

本模型使用MIT许可证。

👥 合作者

• 周梦琳
• 刘佳平
• 詹晓天

📖 引用

如果您使用此模型，请按以下方式引用RAID数据集：

@inproceedings{dugan-etal-2024-raid,
    title = "{RAID}: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors",
    author = "Dugan, Liam  and
      Hwang, Alyssa  and
      Trhl{\'\i}k, Filip  and
      Zhu, Andrew  and
      Ludan, Josh Magnus  and
      Xu, Hainiu  and
      Ippolito, Daphne  and
      Callison-Burch, Chris",
    booktitle = "Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = aug,
    year = "2024",
    address = "Bangkok, Thailand",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.acl-long.674",
    pages = "12463--12492",
}