库名称: transformers
许可证: apache-2.0
基础模型: distilbert-base-uncased-distilled-squad
标签:

• 训练生成
  指标:
• f1
  模型索引:
• 名称: distilbert-qasports
  结果: []

distilbert-qasports

该模型是基于distilbert-base-uncased-distilled-squad在None数据集上微调的版本。
在评估集上取得了以下结果:

• 损失: 0.4019
• 精确匹配: 76.8699
• F1分数: 81.3261
• 总数: 15041
• Hasans精确匹配: 76.8699
• Hasans F1分数: 81.3261
• Hasans总数: 15041
• 最佳精确匹配: 76.8699
• 最佳精确匹配阈值: 0.0
• 最佳F1分数: 81.3261
• 最佳F1阈值: 0.0

模型描述

需要更多信息

预期用途与限制

需要更多信息

训练与评估数据

需要更多信息

训练过程

训练超参数

训练期间使用的超参数如下:

• 学习率: 1e-05
• 训练批次大小: 16
• 评估批次大小: 16
• 随机种子: 42
• 梯度累积步数: 2
• 总训练批次大小: 32
• 优化器: 使用adamw_torch，参数betas=(0.9,0.999)，epsilon=1e-08，无额外优化器参数
• 学习率调度器类型: linear
• 训练轮数: 50
• 混合精度训练: Native AMP

训练结果

框架版本

• Transformers 4.48.3
• Pytorch 2.6.0+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0