Cde Small V1

由 OrcaDB 开发

cde-small-v1 是一个基于 transformer 架构的小型句子嵌入模型，在多个文本分类、聚类和检索任务上表现出色。

文本嵌入

Transformers

#多任务文本嵌入 #高准确率分类 #语义检索优化

下载量 90.62k

发布时间 : 11/8/2024

模型介绍

内容详情

替代品

模型简介

该模型主要用于文本分类、聚类和检索任务，支持英语文本处理，在 MTEB 基准测试中表现良好。

模型特点

多任务性能优异

在文本分类、聚类和检索等多种任务上均表现良好

高效的小型模型

作为小型模型，在保持性能的同时具有较高的效率

MTEB基准测试验证

在多个MTEB基准测试数据集上进行了全面评估

模型能力

文本分类

文本聚类

信息检索

句子相似度计算

文本重排序

使用案例

电子商务

亚马逊评论分类

对亚马逊商品评论进行情感分析和分类

在亚马逊极性分类任务上达到94.66%准确率

反事实评论识别

识别亚马逊上的反事实评论

在亚马逊反事实分类任务上达到87.03%准确率

金融

银行客户服务分类

对银行客户咨询进行分类

在Banking77数据集上达到88.58%准确率

学术研究

论文聚类

对学术论文进行主题聚类

在arXiv论文聚类任务上达到48.63 V-measure

标签:

mteb
transformers
sentence-transformers 模型索引:
名称: cde-small-v1 结果:
- 数据集: 配置: en 名称: MTEB 亚马逊反事实分类 (en) 版本: e8379541af4e31359cca9fbcf4b00f2671dba205 拆分: 测试类型: mteb/amazon_counterfactual 指标:
  - 类型: 准确率值: 87.02985074626866
  - 类型: 平均精度值: 56.706190238632956
  - 类型: 加权平均精度值: 56.706190238632956
  - 类型: F1分数值: 81.93161953007674
  - 类型: 加权F1分数值: 87.7650174177188
  - 类型: 主要得分值: 87.02985074626866 任务: 类型: 分类
- 数据集: 配置: 默认名称: MTEB 亚马逊极性分类 (默认) 版本: e2d317d38cd51312af73b3d32a06d1a08b442046 拆分: 测试类型: mteb/amazon_polarity 指标:
  - 类型: 准确率值: 94.664175
  - 类型: 平均精度值: 91.68668057762052
  - 类型: 加权平均精度值: 91.68668057762052
  - 类型: F1分数值: 94.65859470333152
  - 类型: 加权F1分数值: 94.65859470333152
  - 类型: 主要得分值: 94.664175 任务: 类型: 分类
- 数据集: 配置: en 名称: MTEB 亚马逊评论分类 (en) 版本: 1399c76144fd37290681b995c656ef9b2e06e26d 拆分: 测试类型: mteb/amazon_reviews_multi 指标:
  - 类型: 准确率值: 55.762
  - 类型: F1分数值: 55.06427827477677
  - 类型: 加权F1分数值: 55.06427827477677
  - 类型: 主要得分值: 55.762 任务: 类型: 分类
- 数据集: 配置: 默认名称: MTEB ArguAna (默认) 版本: c22ab2a51041ffd869aaddef7af8d8215647e41a 拆分: 测试类型: mteb/arguana 指标:
  - 类型: 主要得分值: 71.99600000000001
  - 类型: 前1位平均精度值: 49.004
  - 类型: 前10位平均精度值: 64.741
  - 类型: 前100位平均精度值: 65.045
  - 类型: 前1000位平均精度值: 65.048
  - 类型: 前20位平均精度值: 64.999
  - 类型: 前3位平均精度值: 61.344
  - 类型: 前5位平均精度值: 63.595
  - 类型: 前1位平均倒数排名值: 50.71123755334281
  - 类型: 前10位平均倒数排名值: 65.32688703741336
  - 类型: 前100位平均倒数排名值: 65.63793917015693
  - 类型: 前1000位平均倒数排名值: 65.64038101143724
  - 类型: 前20位平均倒数排名值: 65.59178002869953
  - 类型: 前3位平均倒数排名值: 61.960644855381695
  - 类型: 前5位平均倒数排名值: 64.12636320531058
  - 类型: nauc_前1000位平均精度_diff1 值: 15.961240220366024
  - 类型: nauc_前1000位平均精度_max 值: -7.44765810583741
  - 类型: nauc_前1000位平均精度_std 值: -17.07167824225605
  - 类型: nauc_前100位平均精度_diff1 值: 15.965616911760689
  - 类型: nauc_前100位平均精度_max 值: -7.440609797442297
  - 类型: nauc_前100位平均精度_std 值: -17.069175070766125
  - 类型: nauc_前10位平均精度_diff1 值: 16.0053641689455
  - 类型: nauc_前10位平均精度_max 值: -7.292003400856069
  - 类型: nauc_前10位平均精度_std 值: -17.21891231777586
  - 类型: nauc_前1位平均精度_diff1 值: 16.775859614223965
  - 类型: nauc_前1位平均精度_max 值: -10.812150486389175
  - 类型: nauc_前1位平均精度_std 值: -18.447209756110635
  - 类型: nauc_前20位平均精度_diff1 值: 16.00477985164213
  - 类型: nauc_前20位平均精度_max 值: -7.344399709169316
  - 类型: nauc_前20位平均精度_std 值: -17.011815937847548
  - 类型: nauc_前3位平均精度_diff1 值: 15.730294091913994
  - 类型: nauc_前3位平均精度_max 值: -7.13902722192326
  - 类型: nauc_前3位平均精度_std 值: -16.846251134000045
  - 类型: nauc_前5位平均精度_diff1 值: 15.952653874864062
  - 类型: nauc_前5位平均精度_max 值: -6.730509527119155
  - 类型: nauc_前5位平均精度_std 值: -16.586379153220353
  - 类型: nauc_前1000位平均倒数排名_diff1 值: 10.221278338563085
  - 类型: nauc_前1000位平均倒数排名_max 值: -10.513831642963527
  - 类型: nauc_前1000位平均倒数排名_std 值: -16.340880407651863
  - 类型: nauc_前100位平均倒数排名_diff1 值: 10.226217465992063
  - 类型: nauc_前100位平均倒数排名_max 值: -10.506478667638874
  - 类型: nauc_前100位平均倒数排名_std 值: -16.33847358633176
  - 类型: nauc_前10位平均倒数排名_diff1 值: 10.293491655887369
  - 类型: nauc_前10位平均倒数排名_max 值: -10.357229664747909
  - 类型: nauc_前10位平均倒数排名_std 值: -16.496874845739885
  - 类型: nauc_前1位平均倒数排名_diff1 值: 12.049863016253427
  - 类型: nauc_前1位平均倒数排名_max 值: -11.968579522299635
  - 类型: nauc_前1位平均倒数排名_std 值: -16.65245790056632
  - 类型: nauc_前20位平均倒数排名_diff1 值: 10.276109067921565
  - 类型: nauc_前20位平均倒数排名_max 值: -10.404100283652397
  - 类型: nauc_前20位平均倒数排名_std 值: -16.282098762560164
  - 类型: nauc_前3位平均倒数排名_diff1 值: 10.338008940592475
  - 类型: nauc_前3位平均倒数排名_max 值: -10.123508259477648
  - 类型: nauc_前3位平均倒数排名_std 值: -16.218834894850918
  - 类型: nauc_前5位平均倒数排名_diff1 值: 10.114375457049043
  - 类型: nauc_前5位平均倒数排名_max 值: -9.987361588255437
  - 类型: nauc_前5位平均倒数排名_std 值: -15.723897501895118
  - 类型: nauc_前1000位归一化折损累积增益_diff1 值: 16.00889445347496
  - 类型: nauc_前1000位归一化折损累积增益_max 值: -6.746746500535893
  - 类型: nauc_前1000位归一化折损累积增益_std 值: -16.567047531839382
  - 类型: nauc_前100位归一化折损累积增益_diff1 值: 16.10719535312808
  - 类型: nauc_前100位归一化折损累积增益_max 值: -6.59354665730934
  - 类型: nauc_前100位归一化折损累积增益_std 值: -16.513298001700566
  - 类型: nauc_前10位归一化折损累积增益_diff1 值: 16.396485814351973
  - 类型: nauc_前10位归一化折损累积增益_max 值: -5.7111859345525895
  - 类型: nauc_前10位归一化折损累积增益_std 值: -17.13416103510026
  - 类型: nauc_前1位归一化折损累积增益_diff1 值: 16.775859614223965
  - 类型: nauc_前1位归一化折损累积增益_max 值: -10.812150486389175
  - 类型: nauc_前1位归一化折损累积增益_std 值: -18.447209756110635
  - 类型: nauc_前20位归一化折损累积增益_diff1 值: 16.414235526534497
  - 类型: nauc_前20位归一化折损累积增益_max 值: -5.890463457153039
  - 类型: nauc_前20位归一化折损累积增益_std 值: -16.124783371499017
  - 类型: nauc_前3位归一化折损累积增益_diff1 值: 15.683431770601713
  - 类型: nauc_前3位归一化折损累积增益_max 值: -5.546675513691499
  - 类型: nauc_前3位归一化折损累积增益_std 值: -15.973244504586676
  - 类型: nauc_前5位归一化折损累积增益_diff1 值: 16.193847874581166
  - 类型: nauc_前5位归一化折损累积增益_max 值: -4.471638454091411
  - 类型: nauc_前5位归一化折损累积增益_std 值: -15.517824617814629
  - 类型: nauc_前1000位精确度_diff1 值: 3.170440311533737
  - 类型: nauc_前1000位精确度_max 值: 25.521992526080666
  - 类型: nauc_前1000位精确度_std 值: 68.4373013145641
  - 类型: nauc_前100位精确度_diff1 值: 30.283338663457897
  - 类型: nauc_前100位精确度_max 值: 44.33747104624998
  - 类型: nauc_前100位精确度_std 值: 42.28887350925609
  - 类型: nauc_前10位精确度_diff1 值: 23.390956301235633
  - 类型: nauc_前10位精确度_max 值: 15.468288261126773
  - 类型: nauc_前10位精确度_std 值: -18.2942744669977
  - 类型: nauc_前1位精确度_diff1 值: 16.775859614223965
  - 类型: nauc_前1位精确度_max 值: -10.812150486389175
  - 类型: nauc_前1位精确度_std 值: -18.447209756110635
  - 类型: nauc_前20位精确度_diff1 值: 37.14254275219614
  - 类型: nauc_前20位精确度_max 值: 46.984729023754824
  - 类型: nauc_前20位精确度_std 值: 22.763524786900717
  - 类型: nauc_前3位精确度_diff1 值: 15.651406928218881
  - 类型: nauc_前3位精确度_max 值: 0.7775458885343681
  - 类型: nauc_前3位精确度_std 值: -12.438132482295773
  - 类型: nauc_前5位精确度_diff1 值: 18.10074574210355
  - 类型: nauc_前5位精确度_max 值: 9.373350504221532
  - 类型: nauc_前5位精确度_std 值: -9.13125987784625
  - 类型: nauc_前1000位召回率_diff1 值: 3.1704403115262325
  - 类型: nauc_前1000位召回率_max 值: 25.521992526077756
  - 类型: nauc_前1000位召回率_std 值: 68.4373013145603
  - 类型: nauc_前100位召回率_diff1 值: 30.283338663455616
  - 类型: nauc_前100位召回率_max 值: 44.337471046250556
  - 类型: nauc_前100位召回率_std 值: 42.28887350925341
  - 类型: nauc_前10位召回率_diff1 值: 23.390956301235168
  - 类型: nauc_前10位召回率_max 值: 15.468288261126578
  - 类型: nauc_前10位召回率_std 值: -18.294274466997873
  - 类型: nauc_前1位召回率_diff1 值: 16.775859614223965
  - 类型: nauc_前1位召回率_max 值: -10.812150486389175
  - 类型: nauc_前1位召回率_std 值: -18.447209756110635
  - 类型: nauc_前20位召回率_diff1 值: 37.14254275219513
  - 类型: nauc_前20位召回率_max 值: 46.98472902375421
  - 类型: nauc_前20位召回率_std 值: 22.763524786899644
  - 类型: nauc_前3位召回率_diff1 值: 15.65140692821902
  - 类型: nauc_前3位召回率_max 值: 0.7775458885343522
  - 类型: nauc_前3位召回率_std 值: -12.43813248229578
  - 类型: nauc_前5位召回率_diff1 值: 18.10074574210355
  - 类型: nauc_前5位召回率_max 值: 9.373350504221595
  - 类型: nauc_前5位召回率_std 值: -9.131259877846116
  - 类型: 前1位归一化折损累积增益值: 49.004
  - 类型: 前10位归一化折损累积增益值: 71.99600000000001
  - 类型: 前100位归一化折损累积增益值: 73.173
  - 类型: 前1000位归一化折损累积增益值: 73.214
  - 类型: 前20位归一化折损累积增益值: 72.91
  - 类型: 前3位归一化折损累积增益值: 65.21900000000001
  - 类型: 前5位归一化折损累积增益值: 69.284
  - 类型: 前1位精确度值: 49.004
  - 类型: 前10位精确度值: 9.452
  - 类型: 前100位精确度值: 0.9939999999999999
  - 类型: 前1000位精确度值: 0.1
  - 类型: 前20位精确度值: 4.904
  - 类型: 前3位精确度值: 25.462
  - 类型: 前5位精确度值: 17.255000000000003
  - 类型: 前1位召回率值: 49.004
  - 类型: 前10位召回率值: 94.523
  - 类型: 前100位召回率值: 99.36
  - 类型: 前1000位召回率值: 99.644
  - 类型: 前20位召回率值: 98.08
  - 类型: 前3位召回率值: 76.387
  - 类型: 前5位召回率值: 86.273 任务: 类型: 检索
- 数据集: 配置: 默认名称: MTEB 论文聚类P2P (默认) 版本: a122ad7f3f0291bf49cc6f4d32aa80929df69d5d 拆分: 测试类型: mteb/arxiv-clustering-p2p 指标:
  - 类型: 主要得分值: 48.629569816593516
  - 类型: V度量值: 48.629569816593516
  - 类型: V度量标准差值: 14.01810149072028 任务: 类型: 聚类
- 数据集: 配置: 默认名称: MTEB 论文聚类S2S (默认) 版本: f910caf1a6075f7329cdf8c1a6135696f37dbd53 拆分: 测试类型: mteb/arxiv-clustering-s2s 指标:
  - 类型: 主要得分值: 40.52366904677561
  - 类型: V度量值: 40.52366904677561
  - 类型: V度量标准差值: 14.375876773823757 任务: 类型: 聚类
- 数据集: 配置: 默认名称: MTEB AskUbuntu重复问题 (默认) 版本: 2000358ca161889fa9c082cb41daa8dcfb161a54 拆分: 测试类型: mteb/askubuntudupquestions-reranking 指标:
  - 类型: 主要得分值: 61.27347206107508
  - 类型: 平均精度值: 61.27347206107508
  - 类型: 平均倒数排名值: 74.49105219188321
  - 类型: nAUC_平均精度_diff1 值: 13.442645655149457
  - 类型: nAUC_平均精度_max 值: 25.013363268430027
  - 类型: nAUC_平均精度_std 值: 17.60175231611674
  - 类型: nAUC_平均倒数排名_diff1 值: 25.217675209249435
  - 类型: nAUC_平均倒数排名_max 值: 32.37381560372622
  - 类型: nAUC_平均倒数排名_std 值: 22.584922632508412 任务: 类型: 重排序
- 数据集: 配置: 默认名称: MTEB BIOSSES (默认) 版本: d3fb88f8f02e40887cd149695127462bbcf29b4a 拆分: 测试类型: mteb/biosses-sts 指标:
  - 类型: 余弦皮尔逊值: 89.09452267906886
  - 类型: 余弦斯皮尔曼值: 86.73450642504955
  - 类型: 欧几里得皮尔逊值: 87.1275130552617
  - 类型: 欧几里德斯皮尔曼值: 86.93812552248012
  - 类型: 主要得分值: 86.73450642504955
  - 类型: 曼哈顿皮尔逊值: 86.79403606129864
  - 类型: 曼哈顿斯皮尔曼值: 86.76824213349957
  - 类型: 皮尔逊值: 89.09452267906886
  - 类型: 斯皮尔曼值: 86.73450642504955 任务: 类型: STS
- 数据集: 配置: 默认名称: MTEB Banking77分类 (默认) 版本: 0fd18e25b25c072e09e0d92ab615fda904d66300 拆分: 测试类型: mteb/banking77 指标:
  - 类型: 准确率值: 88.58116883116884
  - 类型: F1分数值: 88.54536316207125
  - 类型: 加权F1分数值: 88.54536316207125
  - 类型: 主要得分值: 88.58116883116884 任务: 类型: 分类
- 数据集: 配置: 默认名称: MTEB Biorxiv聚类P2P (默认) 版本: 65b79d1d13f80053f67aca9498d9402c2d9f1f40 拆分: 测试类型: mteb/biorxiv-clustering-p2p 指标:
  - 类型: 主要得分值: 44.89554099528695
  - 类型: V度量值: 44.89554099528695
  - 类型: V度量标准差值: 0.6101675839696261 任务: 类型: 聚类
- 数据集: 配置: 默认名称: MTEB Biorxiv聚类S2S (默认) 版本: 258694dd0231531bc1fd9de6ceb52a0853c6d908 拆分: 测试类型: mteb/biorxiv-clustering-s2s 指标:
  - 类型: 主要得分值: 37.89775676199564
  - 类型: V度量值: 37.89775676199564
  - 类型: V度量标准差值: 0.6980439644171996 任务: 类型: 聚类
- 数据集: 配置: 默认名称: MTEB CQADupstackAndroid检索 (默认) 版本: f46a197baaae43b4f621051089b82a364682dfeb 拆分: 测试类型: mteb/cqadupstack-android 指标:
  - 类型: 主要得分值: 49.239
  - 类型: 前1位平均精度值: 31.407
  - 类型: 前10位平均精度值: 42.788
  - 类型: 前100位平均精度值: 44.163999999999994
  - 类型: 前1000位平均精度值: 44.285000000000004
  - 类型: 前20位平均精度值: 43.531
  - 类型: 前3位平均精度值: 39.381
  - 类型: 前5位平均精度值: 41.296
  - 类型: 前1位平均倒数排名值: 38.91273247496424
  - 类型: 前10位平均倒数排名值: 48.82553307446011
  - 类型: 前100位平均倒数排名值: 49.5278584841276
  - 类型: 前1000位平均倒数排名值: 49.56897938168851
  - 类型: 前20位平均倒数排名值: 49.27034318525701
  - 类型: 前3位平均倒数排名值: 46.423462088698145
  - 类型: 前5位平均倒数排名值: 47.83261802575108
  - 类型: nauc_前1000位平均精度_diff1 值: 51.50772644391144
  - 类型: nauc_前1000位平均精度_max 值: 39.57698592158747
  - 类型: nauc_前1000位平均精度_std 值: -5.092734127689174
  - 类型: nauc_前100位平均精度_diff1 值: 51.51650908644926
  - 类型: nauc_前100位平均精度_max 值: 39.579607215550325
  - 类型: nauc_前100位平均精度_std 值: -5.112306014245407
  - 类型: nauc_前10位平均精度_diff1 值: 51.80732269410239
  - 类型: nauc_前10位平均精度_max 值: 39.312012392020854
  - 类型: nauc_前10位平均精度_std 值: -5.844192947783184
  - 类型: nauc_前1位平均精度_diff1 值: 58.51885994004338
  - 类型: nauc_前1位平均精度_max 值: 35.306905646597656
  - 类型: nauc_前1位平均精度_std 值: -6.4627870729629455
  - 类型: nauc_前20位平均精度_diff1 值: 51.560698537725294
  - 类型: nauc_前20位平均精度_max 值: 39.40865218451427
  - 类型: nauc_前20位平均精度_std 值: -5.46140640509653
  - 类型: nauc_前3位平均精度_diff1 值: 52.845784777873305
  - 类型: nauc_前3位平均精度_max 值: 38.55976877563459
  - 类型: nauc_前3位平均精度_std 值: -5.72430771104222
  - 类型: nauc_前5位平均精度_diff1 值: 52.29343919325049
  - 类型: nauc_前5位平均精度_max 值: 38.98194700024613
  - 类型: nauc_前5位平均精度_std 值: -6.062278166282727
  - 类型: nauc_前1000位平均倒数排名_diff1 值: 48.824012243253904
  - 类型: nauc_前1000位平均倒数排名_max 值: 40.36119735345816
  - 类型: nauc_前1000位平均倒数排名_std 值: -4.371172318529068
  - 类型: nauc_前100位平均倒数排名_diff1 值: 48.80142209066577
  - 类型: nauc_前100位平均倒数排名_max 值: 40.35371141231279
  - 类型: nauc_前100位平均倒数排名_std 值: -4.382000140837231
  - 类型: nauc_前10位平均倒数排名_diff1 值: 48.89408963706152
  - 类型: nauc_前10位平均倒数排名_max 值: 40.48043029859513
  - 类型: nauc_前10位平均倒数排名_std 值: -4.5927306729163835
  - 类型: nauc_前1位平均倒数排名_diff1 值: 53.18491414251319
  - 类型: nauc_前1位平均倒数排名_max 值: 38.43746618754316
  - 类型: nauc_前1位平均倒数排名_std 值: -6.2489159406458965
  - 类型: nauc_前20位平均倒数排名_diff1 值: 48.763867640789634
  - 类型: nauc_前20位平均倒数排名_max 值: 40.369114351255135
  - 类型: nauc_前20位平均倒数排名_std 值: -4.400065130027329
  - 类型: nauc_前3位平均倒数排名_diff1 值: 48.87375252127912
  - 类型: nauc_前3位平均倒数排名_max 值: 40.810763259212116
  - 类型: nauc_前3位平均倒数排名_std 值: -3.4938483699692657
  - 类型: nauc_前5位平均倒数排名_diff1 值: 49.186967577714285
  - 类型: nauc_前5位平均倒数排名_max 值: 40.48882253846611
  - 类型: nauc_前5位平均倒数排名_std 值: -4.621076155915746
  - 类型: nauc_前1000位归一化折损累积增益_diff1 值: 49.24642669558249
  - 类型: nauc_前1000位归一化折损累积增益_max 值: 41.00404222082434
  - 类型: nauc_前1000位归一化折损累积增益_std 值: -2.7356065308278392
  - 类型: nauc_前100位归一化折损累积增益_diff1 值: 48.92939354546236
  - 类型: nauc_前100位归一化折损累积增益_max 值: 40.972699158281586
  - 类型: nauc_前100位归一化折损累积增益_std 值: -3.0561983632108776
  - 类型: nauc_前10位归一化折损累积增益_diff1 值: 49.60179215238792
  - 类型: nauc_前10位归一化折损累积增益_max 值: 40.89678771623847
  - 类型: nauc_前10位归一化折损累积增益_std 值: -5.096633756025252
  - 类型: nauc_前1位归一化折损累积增益_diff1 值: 53.18491414251319
  - 类型: nauc_前1位归一化折损累积增益_max 值: 38.43746618754316
  - 类型: nauc_前1位归一化折损累积增益_std 值: -6.2489159406458965
  - 类型: nauc_前20位归一化折损累积增益_diff1 值: 48.826483305583984
  - 类型: nauc_前20位归一化折损累积增益_max 值: 40.592200374154466
  - 类型: nauc_前20位归一化折损累积增益_std 值: -4.185196398682058
  - 类型: nauc_前3位归一化折损累积增益_diff1 值: 49.9798291819845
  - 类型: nauc_前3位归一化折损累积增益_max 值: 40.50211559049151
  - 类型: nauc_前3位归一化折损累积增益_std 值: -3.9606100546649
  - 类型: nauc_前5位归一化折损累积增益_diff1 值: 50.222364976292454
  - 类型: nauc_前5位归一化折损累积增益_max 值: 40.477461845726694
  - 类型: nauc_前5位归一化折损累积增益_std 值: -5.025922873253527
  - 类型: nauc_前1000位精确度_diff1 值: -24.208256297106363
  - 类型: nauc_前1000位精确度_max 值: -10.21103761078881
  - 类型: nauc_前1000位精确度_std 值: -0.06753142735419307
  - 类型: nauc_前100位精确度_diff1 值: -15.392095697703853
  - 类型: nauc_前100位精确度_max 值: 3.3764259600400375
  - 类型: nauc_前100位精确度_std 值: 7.032273000803224
  - 类型: nauc_前10位精确度_diff1 值: 8.050911372676126
  - 类型: nauc_前10