🚀 微调版DistilBERT用于不适宜文本分类

本项目基于DistilBERT模型进行微调，旨在对不适宜工作场景（NSFW）的文本进行分类，解决了在大量文本数据中快速准确识别不适当和不专业内容的问题，为内容审核和安全浏览提供了有力支持。

🚀 快速开始

使用以下代码示例，你可以轻松调用该模型进行文本分类：

from transformers import pipeline
classifier = pipeline("sentiment-analysis", model="michellejieli/inappropriate_text_classifier")
classifier("I see you’ve set aside this special time to humiliate yourself in public.")

Output:
[{'label': 'NSFW', 'score': 0.9684491753578186}]

✨ 主要特性

• 基于DistilBERT模型进行微调，具备强大的情感分析能力。
• 能够对Reddit帖子中的不适宜工作场景（NSFW）内容进行分类，预测结果分为NSFW和适宜工作场景（SFW）两类。

📦 安装指南

文档未提及具体安装步骤，可参考transformers库的官方安装说明进行安装。

💻 使用示例

基础用法

from transformers import pipeline
classifier = pipeline("sentiment-analysis", model="michellejieli/inappropriate_text_classifier")
classifier("I see you’ve set aside this special time to humiliate yourself in public.")

高级用法

文档未提及高级用法相关内容。

📚 详细文档

模型描述

DistilBERT是一个用于情感分析的Transformer模型。本项目对该模型在Reddit帖子上进行了微调，目的是对不适宜工作场景（NSFW）的内容进行分类，特别是那些被认为不适当和不专业的文本。该模型可预测两类结果，即NSFW或适宜工作场景（SFW）。

该模型是DistilBERT的微调版本，在从综合辱骂检测数据集中提取的19604条Reddit帖子上进行了微调。

信息表格

📄 许可证

本项目使用creativeml-openrail-m许可证。

📞 联系方式

如果您有任何问题或反馈，请联系michelle.li851@duke.edu。

📚 参考文献

Hoyun Song, Soo Hyun Ryu, Huije Lee, and Jong Park. 2021. A Large-scale Comprehensive Abusiveness Detection Dataset with Multifaceted Labels from Reddit. In Proceedings of the 25th Conference on Computational Natural Language Learning, pages 552–561, Online. Association for Computational Linguistics.