语言:

• 英语 许可证:
• Apache-2.0 标签:
• 训练器生成
• fnet-bert-base对比 数据集:
• GLUE 评估指标:
• 准确率 模型索引:
• 名称: fnet-base-finetuned-sst2 结果:
  • 任务: 名称: 文本分类 类型: text-classification 数据集: 名称: GLUE SST2 类型: glue 参数: sst2 评估指标:
    • 名称: 准确率 类型: accuracy 值: 0.8944954128440367

fnet-base-finetuned-sst2

本模型是基于google/fnet-base在GLUE SST2数据集上微调的版本。
在评估集上取得了以下结果：

• 损失值: 0.4674
• 准确率: 0.8945

该模型微调旨在对比谷歌/fnet-base（参见此论文）与bert-base-cased的性能差异。

模型描述

（需补充详细信息）

预期用途与限制

（需补充详细信息）

训练与评估数据

（需补充详细信息）

训练流程

本模型使用run_glue脚本训练，执行命令如下：

#!/usr/bin/bash

python ../run_glue.py \\n  --model_name_or_path google/fnet-base \\n  --task_name sst2 \\n  --do_train \\n  --do_eval \\n  --max_seq_length 512 \\n  --per_device_train_batch_size 16 \\n  --learning_rate 2e-5 \\n  --num_train_epochs 3 \\n  --output_dir fnet-base-finetuned-sst2 \\n  --push_to_hub \\n  --hub_strategy all_checkpoints \\n  --logging_strategy epoch \\n  --save_strategy epoch \\n  --evaluation_strategy epoch \\n```

### 训练超参数

训练期间使用的超参数配置：  
- 学习率: 2e-05  
- 训练批大小: 16  
- 评估批大小: 8  
- 随机种子: 42  
- 优化器: Adam（β1=0.9，β2=0.999，ε=1e-08）  
- 学习率调度器类型: 线性  
- 训练轮次: 3.0  

### 训练结果

| 训练损失 | 轮次 | 步数 | 准确率 | 验证损失 |
|:--------:|:----:|:----:|:------:|:--------:|
| 0.2956   | 1.0  | 4210 | 0.8819 | 0.3128   |
| 0.1746   | 2.0  | 8420 | 0.8979 | 0.3850   |
| 0.1204   | 3.0  | 12630| 0.8945 | 0.4674   |

### 框架版本

- Transformers 4.11.0.dev0  
- PyTorch 1.9.0  
- Datasets 1.12.1  
- Tokenizers 0.10.3