license: other language:

• en pipeline_tag: text-classification inference: false tags:
• roberta
• generated_text_detection
• llm_content_detection
• AI_detection datasets:
• Hello-SimpleAI/HC3
• tum-nlp/IDMGSP library_name: transformers

SuperAnnotate

LLM 内容检测器
基于 RoBERTa Large 微调

简介

该模型旨在检测生成/合成文本。
当前，此类功能对于确定文本作者至关重要，对训练数据筛选、识别科学与教育领域的欺诈作弊行为具有重要意义。
相关文章参考：合成数据的问题 | LLM在教育中的风险

模型详情

模型描述

• 模型类型：基于预训练RoBERTa的二元序列分类定制架构，输出单一标签
• 支持语言：主要为英语
• 许可协议：SAIPL
• 基础模型：RoBERTa Large

模型来源

• 代码库：GitHub（HTTP服务实现）

训练数据

训练数据来自两个开放数据集，经比例调配和过滤处理：

1. HC3 | 63%
2. IDMGSP | 37%

最终训练集包含约20k组文本-标签对，类别分布均衡。
需注意数据集文本具有逻辑关联性：
人工书写与模型生成文本均对应同一提示/指令（但训练过程未使用提示文本本身）。

[!注意] 通过卡方检验，我们识别并移除了与目标标签相关性最高的关键n-gram（n取2至5）。

特性

训练过程中，我们不仅追求预测精度最大化，同时注重避免过拟合并确保预测置信度合理。
最终模型校准状态如下图所示：

使用方式

前置要求：
安装generated_text_detector
执行命令：pip install git+https://github.com/superannotateai/generated_text_detector.git@v1.0.0

from generated_text_detector.utils.model.roberta_classifier import RobertaClassifier
from transformers import AutoTokenizer
import torch.nn.functional as F


model = RobertaClassifier.from_pretrained("SuperAnnotate/roberta-large-llm-content-detector")
tokenizer = AutoTokenizer.from_pretrained("SuperAnnotate/roberta-large-llm-content-detector")

text_example = "随着年龄增长，人们对某些食物产生过敏或不耐受的情况并不罕见。你可能一直对乳糖（牛奶及其他乳制品中的糖分）存在敏感性，但直到最近才显现问题。这是因为人体会随时间变化，对特定物质的耐受能力可能增强或减弱。也可能是你对其他成分（如食品添加剂或防腐剂）新出现了过敏反应。无论何种情况，若出现新的过敏症状，建议及时就医以确定病因并获得治疗建议。"

tokens = tokenizer.encode_plus(
    text_example,
    add_special_tokens=True,
    max_length=512,
    padding='longest',
    truncation=True,
    return_token_type_ids=True,
    return_tensors="pt"
)

_, logits = model(**tokens)

proba = F.sigmoid(logits).squeeze(1).item()

print(proba)

训练细节

选用定制架构因其具备二元分类能力，可输出单一预测值，并集成可调节的损失函数平滑参数。

训练参数：

• 基础模型：FacebookAI/roberta-large
• 训练轮次：10
• 学习率：5e-04
• 权重衰减：0.05
• 标签平滑：0.1
• 预热轮次：4
• 优化器：SGD
• 调度器：带预热的线性调度

性能表现

模型在训练数据保留集与SuperAnnotate内部数据构成的基准测试集上评估。
测试集包含1k样本，每类别200样本。
下表对比开源方案与主流API检测器的表现：