语言: 中文
数据集:

• cajcodes/political-bias
  评估指标:
• 马修斯相关系数
• ROC AUC分数
  许可证: MIT
  交互示例:
• 文本: "为富人减税至关重要，因为它们能推动经济增长和创造就业机会。"

DistilBERT-政治偏见检测模型

概述

DistilBERT-政治偏见是基于DistilBERT的微调模型，专为检测和降低文本中的政治偏见而设计。该模型采用创新方法，结合扩散技术与从微调RoBERTa教师模型提取的知识蒸馏，以实现无偏见的文本表征。

训练过程

模型使用包含658条带有偏见评分的合成语句数据集进行训练。这些语句由GPT-4生成，涵盖从高度保守到高度自由的全方位观点。训练共进行21个周期，学习率为6e-6。通过结合交叉熵损失和KL散度损失，并采用温度缩放技术从教师模型蒸馏知识进行优化。

创新方法

训练采用创新方法，将偏见视为扩散过程需要消除的“噪声”。通过知识蒸馏，学生模型学习将其预测与教师模型较少偏见的输出对齐，从而有效降低最终文本的偏见。

评估结果

模型在验证集上取得以下性能指标:

• 马修斯相关系数 (MCC): 0.593
• ROC AUC分数: 0.924

这些指标表明模型在文本偏见分类与降低方面具有强大能力。

使用方法

可通过Transformers库加载模型:

from transformers import DistilBertForSequenceClassification, RobertaTokenizer  

model = DistilBertForSequenceClassification.from_pretrained('cajcodes/DistilBERT-PoliticalBias')  
tokenizer = RobertaTokenizer.from_pretrained('cajcodes/DistilBERT-PoliticalBias')  

示例

示例文本 = "我们需要大幅增加社会支出，因为这将减少贫困并提高所有人的生活质量。"  
输入 = tokenizer(示例文本, return_tensors='pt')  
输出 = model(**输入)  
预测结果 = torch.softmax(输出.logits, dim=-1)  
print(预测结果)  

数据集

训练所用数据集cajcodes/political-bias包含658条由GPT-4生成的带偏见评分的语句，可供进一步分析和模型训练使用。

许可证: MIT

引用

若使用本模型或数据集，请按以下格式引用:

@misc{cajcodes_distilbert_political_bias,  
  作者 = Christopher Jones,  
  标题 = {DistilBERT-政治偏见检测: 文本中政治偏见检测与降低的创新方法},  
  年份 = 2024,  
  发布方式 = {\url{https://huggingface.co/cajcodes/DistilBERT-PoliticalBias}},  
}