基础模型:

• answerdotai/ModernBERT-base 数据集:
• yaful/MAGE 语言:
• 英语 许可证: apache-2.0 任务标签: 文本分类 库名称: transformers

机器生成文本检测防止语言模型崩溃

该模型是论文《机器生成文本检测防止语言模型崩溃》中提出的研究成果组成部分，该论文提出了一种基于机器生成文本检测器重要性采样的方法来防止模型崩溃。官方实现和训练脚本可在GitHub仓库获取：GeorgeDrayson/model_collapse

使用方法

使用该模型检测机器生成文本：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

tokenizer = AutoTokenizer.from_pretrained("GeorgeDrayson/modernbert-mage")
model = AutoModelForSequenceClassification.from_pretrained("GeorgeDrayson/modernbert-mage")

text = "此处输入您的文本"
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
probabilities = torch.nn.functional.softmax(outputs.logits, dim=-1)
print(f"机器生成文本概率: {probabilities[0][1].item():.4f}")

引用

如果您使用该模型或认为该研究有所帮助，请引用：

@article{drayson2025machine,
  title={机器生成文本检测防止语言模型崩溃},
  author={Drayson, George and Yilmaz, Emine and Lampos, Vasileios},
  journal={arXiv预印本 arXiv:2502.15654},
  year={2025}
}