标签:

• 自动训练
• 预训练模型
• 金融BERT
• 掩码填充 语言: 未知 小部件示例:
• 文本: 特斯拉仍是市场上最高[MASK]的股票之一。与此同时，Aurora Innovation是一家尚未盈利但前景看好的初创企业。
• 文本: 亚洲股市周三从一年低点[MASK]，因美国股指期货和油价从前一天的抛售中回升，但奥密克戎变异株影响的不确定性仍存。
• 文本: 美国股市周一料将上涨，受苹果公司[MASK]推动，其市值逼近3万亿美元，而投资者正为本周晚些时候的美联储会议做准备。

FinBERT是基于金融通讯文本预训练的BERT模型，旨在推动金融自然语言处理的研究与实践。

预训练过程

模型在以下三个金融通讯语料库上进行训练，总语料规模达49亿词元：

• 公司年报10-K与季报10-Q：25亿词元
• 财报电话会议记录：13亿词元
• 分析师报告：11亿词元

整个训练在NVIDIA DGX-1服务器上完成，该设备配备4块Tesla P100 GPU（总计128GB显存），支持128的批量训练规模。我们采用Horovord框架进行多GPU训练，单个模型的完整预训练耗时约2天。

更多技术细节详见论文：https://arxiv.org/abs/2006.08097

FinBERT可针对下游任务进行微调。我们已将其应用于分析师情感分类任务，微调模型详见：https://huggingface.co/demo-org/auditor_review_model

使用方式

通过Transformers库直接加载模型：

from transformers import AutoModelForMaskedLM
model = AutoModelForMaskedLM.from_pretrained("demo-org/finbert-pretrain", use_auth_token=True)

咨询联系

如需了解该预训练模型的更多信息，请联系数据科学卓越中心

演示说明

本模型卡片为演示用途，原始模型卡片参见：https://huggingface.co/yiyanghkust/finbert-pretrain