language:

• ko

KR-FinBert与KR-FinBert-SC模型

自然语言处理（NLP）领域已取得重大进展，大量研究表明：利用小规模语料库进行领域适配，并通过标注数据微调能有效提升整体性能。我们通过金融语料库的增量预训练和情感分析微调，提出了面向金融领域的KR-FinBert模型。正如多项研究证实的那样，本次实验也清晰展现了领域适配及下游任务带来的性能提升。

数据构成

本模型训练数据在**KR-BERT-MEDIUM基础上扩展，包含韩文维基百科、通用新闻文本、韩国国家法律信息中心爬取的法令文书及韩国评论数据集。迁移学习阶段新增了72家媒体（如金融时报、韩国经济日报等）的企业相关经济新闻及16家证券公司（如Kiwoom证券、三星证券等）的分析师报告**。数据集包含440,067条新闻标题与正文，11,237份分析师报告，总数据量约13.22GB。MLM训练时按行分割数据，总行数达6,379,315条。模型采用NVIDIA TITAN XP显卡训练67.48小时，完成550万步训练（最大长度512，批次大小32，学习率5e-5）。

下游任务表现

情感分类模型

基于50,000条标注数据的下游任务表现：

推理示例

引用规范

@misc{kr-FinBert-SC,
  author = {Kim, Eunhee and Hyopil Shin},
  title = {KR-FinBert：面向情感分析的金融领域微调模型},
  year = {2022},
  publisher = {GitHub},
  journal = {GitHub仓库},
  howpublished = {\url{https://huggingface.co/snunlp/KR-FinBert-SC}}
}