license: mit language:

• ko pipeline_tag: fill-mask

KF-DeBERTa

由KakaoBank与FNGuid联合发布的金融领域专用语言模型

模型说明

• KF-DeBERTa是同时训练通用语料与金融领域语料的语言模型
• 模型架构基于DeBERTa-v2构建
  • 采用ELECTRA的RTD作为训练目标的DeBERTa-v3在部分任务(KLUE-RE/WoS/Retrieval)表现欠佳，最终选定DeBERTa-v2架构
• 在通用领域与金融领域下游任务中均表现优异
  • 针对金融领域任务进行了多数据集严格验证
  • 在两大领域均超越现有语言模型，KLUE基准测试中表现优于RoBERTa-Large

使用方式

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("kakaobank/kf-deberta-base")
tokenizer = AutoTokenizer.from_pretrained("kakaobank/kf-deberta-base")

text = "KakaoBank与FNGuid联合发布金融专用语言模型"
tokens = tokenizer.tokenize(text)
print(tokens)

inputs = tokenizer(text, return_tensors="pt")
model_output = model(**inputs)
print(model_output)

基准测试

• 所有任务仅进行基础超参数搜索：
  • 批大小：{16, 32}
  • 学习率：{1e-5, 3e-5, 5e-5}
  • 权重衰减：{0, 0.01}
  • 预热比例：{0, 0.1}

KLUE基准测试

• 粗体表示所有模型中最高分，下划线表示基础模型中最高分

金融领域基准

• FN-情感分析：金融领域情感分析
• FN-金融新闻：金融广告新闻分类
• FN-命名实体：金融领域命名实体识别
• KorFPB：FinancialPhraseBank翻译数据
  • 引用：Malo, Pekka, et al. "Good debt or bad debt: Detecting semantic orientations in economic texts." Journal of the Association for Information Science and Technology 65.4 (2014): 782-796.
• KorFiQA-SA：FiQA-SA翻译数据
  • 引用：Maia, Macedo & Handschuh, Siegfried & Freitas, Andre & Davis, Brian & McDermott, Ross & Zarrouk, Manel & Balahur, Alexandra. (2018). WWW'18 Open Challenge: Financial Opinion Mining and Question Answering. WWW '18: Companion Proceedings of the The Web Conference 2018. 1941-1942. 10.1145/3184558.3192301.
• Kor头条新闻：黄金商品新闻数据集
  • 引用：Sinha, A., & Khandait, T. (2021, April). Impact of News on the Commodity Market: Dataset and Results. In Future of Information and Communication Conference (pp. 589-601). Springer, Cham.

通用领域基准