许可证：apache-2.0
基础模型：bert-base-uncased
标签：

• generated_from_keras_callback
  模型索引：
• 名称：EconoBert
  结果：[]
  数据集：
• samchain/BIS_Speeches_97_23
  语言：
• en
  管道标签：fill-mask

EconoBert

该模型是基于bert-base-uncased在以下数据集上微调的版本：(https://huggingface.co/datasets/samchain/BIS_Speeches_97_23)
在测试集上取得了以下结果：

• MLM任务准确率：73%
• NSP任务准确率：95%

模型描述

该模型是对基础bert在经济学领域特定数据集上的简单微调。它遵循相同的架构，无需调整token_embeddings的大小。

预期用途与限制

该模型应作为应用于经济学、政治学和金融学领域的NLP任务的基础模型。

训练与评估数据

用于微调的领域数据集为：https://huggingface.co/datasets/samchain/BIS_Speeches_97_23

数据集包含77.3万对句子，其中一半为负样本对（即序列A与序列B无关），另一半为正样本对（序列B紧随序列A之后）。

测试集包含13.6万对句子。

训练流程

模型在2个epoch上进行微调，批次大小为64，序列长度为128。采用Adam优化器，学习率为1e-5。

训练超参数

训练期间使用的超参数如下：

• 优化器：{'name': 'Adam', 'weight_decay': None, 'clipnorm': None, 'global_clipnorm': None, 'clipvalue': None, 'use_ema': False, 'ema_momentum': 0.99, 'ema_overwrite_frequency': None, 'jit_compile': True, 'is_legacy_optimizer': False, 'learning_rate': 1e-05, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
• 训练精度：float32

训练结果

训练集损失为1.6046，测试集损失为1.47。

框架版本

• Transformers 4.31.0
• TensorFlow 2.12.0
• Datasets 2.13.1
• Tokenizers 0.13.3

引用与作者

Samuel Chaineau