🚀 KF-DeBERTa

KF-DeBERTa是由 KakaoBank 和 FNGuide 联合训练的金融领域专用语言模型。该模型结合了通用领域和金融领域的语料进行训练，在多个下游任务中展现出卓越性能。

✨ 主要特性

• 多领域融合训练：KF-DeBERTa 同时使用通用领域语料库和金融领域语料库进行训练，在通用领域和金融领域的下游任务中均表现出色。
• 架构选择：模型架构基于 DeBERTa-v2 进行训练。由于观察到使用 ELECTRA 的 RTD 作为训练目标的 DeBERTa-v3 在部分任务（如 KLUE-RE、WoS、Retrieval）中性能较低，最终选择了 DeBERTa-v2 作为架构。
• 优异性能：在通用领域和金融领域的下游任务中均验证了其卓越性能。特别是在金融领域的下游任务中，通过多种数据集进行了全面的性能验证，在 KLUE Benchmark 中表现优于 RoBERTa-Large。

📦 安装指南

文档未提供安装步骤，如需使用该模型，可参考 Hugging Face 的 Transformers 库的安装方法。

💻 使用示例

基础用法

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("kakaobank/kf-deberta-base")
tokenizer = AutoTokenizer.from_pretrained("kakaobank/kf-deberta-base")

text = "카카오뱅크와 에프엔가이드가 금융특화 언어모델을 공개합니다."
tokens = tokenizer.tokenize(text)
print(tokens)

inputs = tokenizer(text, return_tensors="pt")
model_output = model(**inputs)
print(model_output)

📚 详细文档

基准测试

所有任务仅进行了以下基本的超参数搜索：

• 批量大小（batch size）: {16, 32}
• 学习率（learning_rate）: {1e-5, 3e-5, 5e-5}
• 权重衰减（weight_decay）: {0, 0.01}
• 预热比例（warmup_proportion）: {0, 0.1}

KLUE 基准测试

注：粗体表示所有模型中的最高分数，下划线表示基础模型中的最高分数。

金融领域基准测试

• FN-Sentiment：金融领域情感分析
• FN-Adnews：金融领域广告新闻分类
• FN-NER：金融领域命名实体识别
• KorFPB：FinancialPhraseBank 翻译数据集
  • 引用: Malo, Pekka, et al. "Good debt or bad debt: Detecting semantic orientations in economic texts." Journal of the Association for Information Science and Technology 65.4 (2014): 782-796.
• KorFiQA-SA：FiQA-SA 翻译数据集
  • 引用: Maia, Macedo & Handschuh, Siegfried & Freitas, Andre & Davis, Brian & McDermott, Ross & Zarrouk, Manel & Balahur, Alexandra. (2018). WWW'18 Open Challenge: Financial Opinion Mining and Question Answering. WWW '18: Companion Proceedings of the The Web Conference 2018. 1941-1942. 10.1145/3184558.3192301.
• KorHeadline：Gold Commodity News and Dimensions 翻译数据集
  • 引用: Sinha, A., & Khandait, T. (2021, April). Impact of News on the Commodity Market: Dataset and Results. In Future of Information and Communication Conference (pp. 589-601). Springer, Cham.

通用领域基准测试

📄 许可证

KF-DeBERTa 的源代码和模型在 MIT 许可证下公开。许可证全文可在 MIT 文件 中查看。本公司对因使用该模型而产生的任何损失不承担责任。

🔗 引用

@proceedings{jeon-etal-2023-kfdeberta,
  title         = {KF-DeBERTa: Financial Domain-specific Pre-trained Language Model},
  author        = {Eunkwang Jeon, Jungdae Kim, Minsang Song, and Joohyun Ryu},
  booktitle     = {Proceedings of the 35th Annual Conference on Human and Cognitive Language Technology},
  moth          = {oct},
  year          = {2023},
  publisher     = {Korean Institute of Information Scientists and Engineers},
  url           = {http://www.hclt.kr/symp/?lnb=conference},
  pages         = {143--148},
}