🚀 冒犯性言论检测器
“冒犯性言论检测器”是一个基于Deberta的文本分类模型,用于预测一段文本是否包含冒犯性语言。该模型在tweet_eval数据集上进行了微调,该数据集包含Twitter上的七个异构任务,均被构建为多类推文分类任务。本任务使用了其中的“冒犯性”子集。
🚀 快速开始
模型用途
冒犯性言论检测器旨在作为检测文本中冒犯性语言的工具,可用于内容审核、情感分析或社交媒体分析等应用场景。该模型可用于过滤或标记包含冒犯性语言的推文,或分析冒犯性语言的流行程度和模式。
使用示例
基础用法
你可以使用cURL来访问这个模型:
$ curl -X POST -H "Authorization: Bearer YOUR_API_KEY" -H "Content-Type: application/json" -d '{"inputs": "I love AutoTrain"}' https://api-inference.huggingface.co/models/KoalaAI/OffensiveSpeechDetector
高级用法
使用Python API:
from transformers import AutoModelForSequenceClassification, AutoTokenizer
model = AutoModelForSequenceClassification.from_pretrained("KoalaAI/OffensiveSpeechDetector", use_auth_token=True)
tokenizer = AutoTokenizer.from_pretrained("KoalaAI/OffensiveSpeechDetector", use_auth_token=True)
inputs = tokenizer("I love AutoTrain", return_tensors="pt")
outputs = model(**inputs)
✨ 主要特性
- 本模型是我们审核模型系列的一部分,该系列还包括其他可能令你感兴趣的模型,如仇恨言论检测器。我们认为这些模型可以相互配合,从而构建一个更强大的审核工具。
📚 详细文档
预期用途和局限性
该模型虽有检测冒犯性语言的能力,但也存在一些局限性,用户需要了解:
- 文本类型局限:模型仅在推文上进行训练和评估,推文是简短且非正式的文本,可能包含俚语、缩写、表情符号、话题标签或用户提及。模型在其他类型的文本(如新闻文章、论文或书籍)上的表现可能不佳。
- 语言局限:模型仅在英文推文上进行训练和评估,可能无法很好地泛化到其他语言或方言。
- 数据集局限:模型基于tweet_eval数据集,该数据集在标注过程中可能存在一些偏差或错误。标签由人工标注者分配,他们对于什么构成冒犯性语言可能有不同的意见或标准。数据集也可能未涵盖所有可能形式或语境的冒犯性语言,如讽刺、反语、幽默或委婉语。
- 模型本身局限:模型是一个统计分类器,为每个标签输出一个概率分数。模型不提供其预测的任何解释或理由,也可能会出错或产生误报或漏报。用户不应在没有进一步验证或人工监督的情况下盲目信任模型的预测。
伦理考量
这是一个处理敏感且可能有害语言的模型。用户在其应用程序或场景中使用或部署此模型时,应考虑其伦理影响和潜在风险。可能出现的一些伦理问题包括:
- 模型可能会强化或放大数据或社会中现有的偏差或刻板印象。例如,模型可能基于数据中的频率或共现情况,将某些词语或主题与冒犯性语言联系起来,而不考虑其背后的含义或意图。这可能导致对某些群体或个人的不公平或不准确预测。
用户应仔细考虑使用此模型的目的、背景和影响,并采取适当措施防止或减轻任何潜在危害。用户还应尊重数据主体的隐私和同意,并遵守其所在司法管辖区的相关法律法规。
许可证
此模型遵循CodeML OpenRAIL - M 0.1许可证,这是BigCode OpenRAIL - M许可证的一个变体。该许可证允许你自由访问、使用、修改和分发此模型及其衍生产品,用于研究、商业或非商业目的,但需遵守以下条件:
- 你必须在分发的模型的任何副本或衍生产品中包含许可证副本和模型的原始来源。
- 你不得将模型或其衍生产品用于任何非法、有害、滥用、歧视性或冒犯性目的,或导致或促成任何社会或环境危害。
- 你必须尊重用于训练或评估模型的数据主体的隐私和同意,并遵守你所在司法管辖区的相关法律法规。
- 你必须承认模型及其衍生产品是“按原样”提供的,没有任何形式的保证或担保,并且许可方不对你使用模型或其衍生产品所产生的任何损害或损失承担责任。
通过访问或使用此模型,即表示你同意受此许可证条款的约束。如果你不同意此许可证的条款,则不得访问或使用此模型。
模型训练信息
属性 |
详情 |
问题类型 |
多类分类 |
二氧化碳排放量(克) |
0.0108 |
验证指标
指标 |
数值 |
损失 |
0.497 |
准确率 |
0.747 |
宏F1值 |
0.709 |
微F1值 |
0.747 |
加权F1值 |
0.741 |
宏精确率 |
0.722 |
微精确率 |
0.747 |
加权精确率 |
0.740 |
宏召回率 |
0.702 |
微召回率 |
0.747 |
加权召回率 |
0.747 |
📄 许可证
此模型遵循CodeML OpenRAIL - M 0.1许可证。具体许可内容见上文“详细文档 - 许可证”部分。