许可证：apache-2.0
语言：

• 韩文

albert-small-kor-cross-encoder-v1

• 基于albert-small-kor-v1模型进行微调训练得到的交叉编码器模型
• 本模型使用SentenceTransformers的Cross-Encoder类进行训练

训练过程

• 采用sts(10)-nli(3)-sts(10)-nli(3)-sts(10)训练流程（未进行蒸馏训练）
• STS训练参数：种子=111，轮次=10，学习率=1e-4，epsilon=1e-6，预热步数=10%，最大序列长度=128，训练批次=128（小型模型=32）（albert 13m/7G）训练代码
• NLI训练参数：种子=111，轮次=3，学习率=3e-5，epsilon=1e-8，预热步数=10%，最大序列长度=128，训练批次=64，评估批次=64（albert 2h/7G）训练代码
• 评估代码，测试代码

性能对比表：

使用方式与性能

预训练模型可通过如下方式使用：

from sentence_transformers import CrossEncoder  
model = CrossEncoder('bongsoo/albert-small-kor-cross-encoder-v1')  
scores = model.predict([('今天天气很好', '今天去爬山'), ('今天天气阴沉', '今天下雨了')])  
print(scores)  

输出示例：

[0.45417202 0.6294121 ]  

模型将对句子对('句子1', '句子2')和('句子3', '句子4')进行相似度评分预测。

您也可以不依赖sentence_transformers库，直接使用Transformers的AutoModel类加载本模型。