库名称: transformers
许可证: apache-2.0
基础模型: distilbert-base-uncased
标签:

• generated_from_keras_callback
  模型索引:
• 名称: fake-news-classification-distilbert-fine-tuned
  结果: []
  语言:
• en
  评估指标:
• accuracy

假新闻分类 DistilBERT 微调模型

本模型是基于distilbert-base-uncased在未知数据集上微调的版本。在评估集上取得了以下结果：

模型架构

• 基础模型: TFDistilBertForSequenceClassification
• 标签数量: 2
• 框架: 基于Hugging Face Transformers的TensorFlow

训练配置

• 优化器: Adam
• 学习率: 0.001
• 损失函数: 稀疏分类交叉熵
• 训练轮次: 3
• 批量大小: 8
• 数据划分:
  • 数据集来自Kaggle假新闻检测文件（"True.csv"和"Fake.csv"）
  • （注：笔记本内部处理训练集/验证集/测试集划分）

性能指标

微调后，模型在训练过程中记录的评估结果如下：

• 训练准确率: ~99.5%
• 验证准确率: ~99.8%
• 测试准确率: ~99.7%

训练超参数

训练过程中使用的超参数如下：

• 优化器: {'name': 'Adam', 'weight_decay': None, 'clipnorm': None, 'global_clipnorm': None, 'clipvalue': None, 'use_ema': False, 'ema_momentum': 0.99, 'ema_overwrite_frequency': None, 'jit_compile': True, 'is_legacy_optimizer': False, 'learning_rate': 0.001, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
• 训练精度: float32

框架版本

• Transformers 4.48.3
• TensorFlow 2.18.0
• Tokenizers 0.21.0