license: apache-2.0
thumbnail: https://huggingface.co/mrm8488/distilroberta-finetuned-financial-news-sentiment-analysis/resolve/main/logo_no_bg.png
tags:

• generated_from_trainer
• financial
• stocks
• sentiment
  widget:
• text: "营业利润总计940万欧元，低于2004年的1170万欧元。"
  datasets:
• financial_phrasebank
  metrics:
• accuracy
  model-index:
• name: distilRoberta-financial-sentiment
  results:
  • task:
    name: 文本分类
    type: text-classification
    dataset:
    name: financial_phrasebank
    type: financial_phrasebank
    args: sentences_allagree
    metrics:
    • name: 准确率
      type: accuracy
      value: 0.9823008849557522

DistilRoberta金融情感分析模型

本模型是基于distilroberta-base在financial_phrasebank数据集上微调的版本。
在评估集上取得如下结果：

• 损失值: 0.1116
• 准确率: 0.9823

基础模型描述

本模型是RoBERTa-base模型的蒸馏版本，其训练流程与DistilBERT相同。
蒸馏过程代码参见此处。
该模型区分大小写：能识别"English"和"english"的区别。

模型包含6层网络结构，768维向量空间和12个注意力头，总计8200万参数（相比RoBERTa-base的1.25亿参数）。
平均而言，DistilRoBERTa的运行速度是Roberta-base的两倍。

训练数据

来自金融新闻的极性情感语句数据集，包含4840条英文金融新闻语句，由5-8位标注者根据情感一致性进行分类标注。

训练流程

训练超参数

训练过程中使用以下超参数：

• 学习率: 2e-05
• 训练批大小: 8
• 评估批大小: 8
• 随机种子: 42
• 优化器: Adam (beta1=0.9, beta2=0.999, epsilon=1e-08)
• 学习率调度器类型: linear
• 训练轮次: 5

训练结果

框架版本

• Transformers 4.10.2
• Pytorch 1.9.0+cu102
• Datasets 1.12.1
• Tokenizers 0.10.3