许可证: mit
基础模型: microsoft/deberta-v3-small
缩略图: https://huggingface.co/mrm8488/deberta-v3-ft-financial-news-sentiment-analysis/resolve/main/logo_ft_2.png?download=true
标签:

• 训练生成
  评估指标:
• 精确率
• 召回率
• 准确率
• F1值
  模型索引:
• 名称: deberta-v3-ft-news-sentiment-analisys
  结果: []

示例输入:

• 文本: "营业利润总计940万欧元，低于2004年的1170万欧元。"

DeBERTa-v3小型金融新闻情感分析微调版

本模型是基于microsoft/deberta-v3-small在特定数据集上微调的版本，评估集表现如下：

模型描述

DeBERTa通过解耦注意力机制和增强型掩码解码器改进了BERT与RoBERTa模型。凭借这两项创新，DeBERTa在80GB训练数据下多数NLU任务表现超越RoBERTa。

在DeBERTa V3中，我们采用ELECTRA风格预训练与梯度解耦嵌入共享技术进一步提升了效率。相较前代，V3版本在下游任务性能上有显著提升。技术细节详见论文。

DeBERTa V3小型模型采用6层网络结构，隐藏层维度768。核心参数4400万，词表包含128K个token（嵌入层参数9800万）。训练数据与V2版相同，使用160GB数据。

训练与评估数据

金融新闻极性情感数据集包含4840条英文财经新闻句子，由5-8位标注者根据情感倾向标注，数据按标注一致率划分。

训练流程

超参数设置

• 学习率: 2e-05
• 训练批大小: 64
• 评估批大小: 64
• 随机种子: 42
• 优化器: Adam (β1=0.9, β2=0.999, ε=1e-08)
• 学习率调度: 线性
• 训练轮次: 5

训练结果

使用示例

若未安装依赖:

pip install transformers sentencepiece

from transformers import pipeline

task = "text-classification"
model_id = "mrm8488/deberta-v3-ft-financial-news-sentiment-analysis"

classifier = pipeline(task, model_id)
text = "特斯拉汽车未达预期"
result = classifier(text)
print(result)

框架版本

• Transformers 4.35.2
• Pytorch 2.1.0+cu121
• Datasets 2.16.1
• Tokenizers 0.15.0

引用

@misc{manuel_romero_2024,
    author = {{Manuel Romero}},
    title = {deberta-v3-ft-financial-news-sentiment-analysis (版本7430ace)},
    year = 2024,
    url = {https://huggingface.co/mrm8488/deberta-v3-ft-financial-news-sentiment-analysis},
    doi = {10.57967/hf/1666},
    publisher = {Hugging Face}
}