许可证：apache-2.0
标签：

• 金融情感分析
• 训练生成
  评估指标：
• F1值
• 准确率
• 精确率
• 召回率
  模型索引：
• 名称：bert-base-finance-sentiment-noisy-search
  结果：[]
  示例输入：
• 文本："第三季度报告收入为109亿美元，同比增长5%，按汇率中性计算增长8%"
  示例标题："积极"
• 文本："这家在伦敦上市的企业网站报告税前亏损2660万美元，而去年同期亏损1290万美元"
  示例标题："消极"
• 文本："微软更新Outlook、Teams和PowerPoint以适应混合办公需求"
  示例标题："中性"

bert-base-finance-sentiment-noisy-search

该模型是基于bert-base-uncased在Kaggle金融新闻情感分析数据集上通过噪声搜索增强数据微调而成。具体流程如下：

1. 首先在Kaggle金融新闻情感分析数据集（https://www.kaggle.com/ankurzing/sentiment-analysis-for-financial-news）上微调"bert-base-uncased"，达到约88%的准确率。
2. 随后在同一数据上使用逻辑回归分类器，通过仅检查双词组合，找出对"积极"和"消极"类别贡献最大的系数。
3. 利用每类（即"积极"/"消极"）前25个双词组合，调用Bing新闻搜索获取每个短语最多50条新闻条目。
4. 称为"噪声搜索"是因为假设积极双词组合（如"利润增长"、"净增长"）会产生积极样本，而消极双词组合（如"亏损增加"、"股份亏损"）会产生消极样本，但未验证这一假设的有效性（故称"噪声"）。
5. 为每篇文章保留标题+摘要，并根据预设类别关联进行标注。
6. 然后在噪声数据上训练相同模型，并应用于原始数据集划分的保留测试集。
7. 使用数千个噪声"积极"和"消极"样本训练后，测试集准确率提升至约95%。
8. 结果表明，通过自动收集噪声搜索样本，可将准确率从约88%提升至95%以上。

逻辑回归（LR）和BERT（base-cased）的准确率结果见附PDF：
https://drive.google.com/file/d/1MI9gRdppactVZ_XvhCwvoaOV1aRfprrd/view?usp=sharing

模型描述

基于搜索结果的噪声数据训练的BERT模型。详见PDF。

预期用途与限制

适用于金融新闻情感分析，提供"积极"、"中性"和"消极"三类判断。最佳使用方式为输入标题及首段或不超过64个标记的简短新闻摘要。

训练超参数

训练期间使用的超参数：

• 学习率：5e-05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam（beta=(0.9,0.999)，epsilon=1e-08）
• 学习率调度器类型：线性
• 训练轮次：5

框架版本

• Transformers 4.16.2
• Pytorch 1.10.0+cu111
• Datasets 1.18.3
• Tokenizers 0.11.0