语言：中文
任务类型：填充掩码
许可证：CC-BY-SA 4.0
缩略图：https://i.ibb.co/0yz81K9/sec-bert-logo.png
标签：

• 金融
• 财务

示例输入：

• 文本："2019年总净销售额较2018年[MASK]了2%或54亿美元。"
• 文本："2019年总净销售额较2018年下降2%或54[MASK]美元。"
• 文本："2019年期间，公司[MASK]了671亿美元普通股并支付了141亿美元股息等价物。"
• 文本："2019年期间，公司回购了671亿美元普通[MASK]并支付了141亿美元股息等价物。"
• 文本："2019年期间，公司回购了671亿美元普通股并支付了141亿美元[MASK]等价物。"
• 文本："2019年期间，公司回购了671亿美元普通股并支付了股息[MASK]141亿美元。"

SEC-BERT金融领域预训练模型

![SEC-BERT标志](https://i.ibb.co/0yz81K9/sec-bert-logo.png "SEC-BERT" width=400)

SEC-BERT是面向金融领域的BERT模型系列，旨在支持金融自然语言处理研究和金融科技应用。该系列包含以下模型：

• SEC-BERT-BASE（本模型）：与BERT-BASE架构相同，基于金融文档训练
• SEC-BERT-NUM：将数字统一替换为[NUM]伪标记
• SEC-BERT-SHAPE：用数字形状伪标记替代（如'53.2'变为'[XX.X]'）

预训练语料

基于1993-2019年间260,773份10-K年报文件训练，数据源自美国证券交易委员会(SEC)

训练细节

• 使用金融语料训练30K子词的新词表
• 采用Google原始BERT代码训练
• 转换为Hugging Face格式（12层/768隐藏层/12头/1.1亿参数）
• 单TPU v3-8训练100万步（批大小256，序列长度512，学习率1e-4）

加载模型

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nlpaueb/sec-bert-base")
model = AutoModel.from_pretrained("nlpaueb/sec-bert-base")

语言模型性能对比

（完整对比表格展示各变体在数字/单位/年份等金融实体预测上的优势）

相关论文

引用：FiNER: XBRL标记的金融数值实体识别（ACL 2022长论文）

研究团队

来自雅典经济与商业大学NLP小组，研究方向涵盖：

• 金融/生物医学问答系统
• 法律文本分析
• 希腊语NLP工具
• 深度学习在NLP中的应用

由Manos Fergadiotis代表团队发布