pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度
• 转换器

kpf-sbert-v1.1

这是一个句子转换器模型：它将句子和段落映射到一个768维的密集向量空间，可用于聚类或语义搜索等任务。

基于jinmang2/kpfbert模型进行SentenceBERT微调的模型 （在kpf-sbert-v1基础上额外进行了1轮NLI-STS训练）

评估结果

• 性能测试使用的语料如下：
  韩语：korsts(1,379对句子) 和 klue-sts(519对句子)
  英语：stsb_multi_mt(1,376对句子) 和 glue:stsb(1,500对句子)
• 性能指标为余弦相似度斯皮尔曼相关系数
• 评估代码参见此处

该模型的自动化评估参见句子嵌入基准：https://seb.sbert.net

训练过程

• 基于jinmang2/kpfbert模型，按sts(10轮)-distil(10轮)-nli(3轮)-sts(10轮)-nli(3轮)-sts(10轮)顺序训练

训练参数如下：

通用设置

• 小写转换=开启, BIO校正=关闭, 池化模式=均值

1.STS训练阶段

• 语料：korsts(5,749) + kluestsV1.1(11,668) + stsb_multi_mt(5,749) + mteb/sickr-sts(9,927) + glue stsb(5,749) (总计:38,842对)
• 参数：学习率: 1e-4, 精度: 1e-6, 预热步数=10%, 训练轮次: 10, 训练批次: 128, 评估批次: 64, 最大标记长度: 72
• 训练代码参见此处

2.蒸馏阶段

• 教师模型：paraphrase-multilingual-mpnet-base-v2(最大标记长度:128)
• 语料：news_talk_en_ko_train.tsv (英韩对话-新闻平行语料：138万对)
• 参数：学习率: 5e-5, 精度: 1e-8, 训练轮次: 10, 训练批次: 128, 评估/测试批次: 64, 最大标记长度: 128(与教师模型对齐)
• 训练代码参见此处

3.NLI训练阶段

• 语料：训练集(967,852对)：kornli(550,152), kluenli(24,998), glue-mnli(392,702) / 评估集(3,519对)：korsts(1,500), kluests(519), gluests(1,500)
• 超参数：学习率: 3e-5, 精度: 1e-8, 预热步数=10%, 训练轮次: 3, 训练/评估批次: 64, 最大标记长度: 128
• 训练代码参见此处

引用与作者

bongsoo