Speed Embedding 7b Instruct

由 Haon-Chen 开发

Speed Embedding 7B Instruct 是一个基于 Transformer 架构的大规模语言模型，专注于文本嵌入和分类任务，在多个基准测试中表现出色。

大型语言模型

Transformers

英语

开源协议:MIT #多任务文本嵌入 #高准确率分类 #检索优化

下载量 37

发布时间 : 10/31/2024

模型介绍

内容详情

替代品

模型简介

该模型主要用于文本分类、检索和聚类任务，支持多种自然语言处理应用，具有较高的准确性和效率。

模型特点

高性能文本分类

在多个文本分类任务中表现出色，如 Amazon 评论分类和情感分析。

强大的检索能力

在多个检索任务中表现优异，支持高精度文档检索和问答系统。

高效的聚类能力

能够有效处理大规模文本聚类任务，如学术论文和生物医学文献聚类。

模型能力

文本分类

文本检索

文本聚类

情感分析

问答系统

使用案例

电子商务

产品评论分类

用于对 Amazon 产品评论进行正面和负面分类。

准确率高达 96.18%

信息检索

文档检索

用于从大规模文档库中检索相关文档。

在多个检索任务中表现优异

学术研究

论文聚类

用于对学术论文进行主题聚类。

V-measure 达到 51.12%

标签：

mteb
transformers 模型索引：
名称：speed-embedding-7b-instruct 结果：
- 任务：类型：分类数据集：类型：mteb/amazon_counterfactual 名称：MTEB AmazonCounterfactualClassification (en) 配置：en 拆分：test 修订：e8379541af4e31359cca9fbcf4b00f2671dba205 指标：
  - 类型：准确率值：76.67164179104478
  - 类型：平均精度值：39.07181577576136
  - 类型：F1分数值：70.25085237742982
- 任务：类型：分类数据集：类型：mteb/amazon_polarity 名称：MTEB AmazonPolarityClassification 配置：default 拆分：test 修订：e2d317d38cd51312af73b3d32a06d1a08b442046 指标：
  - 类型：准确率值：96.1775
  - 类型：平均精度值：94.84308844303422
  - 类型：F1分数值：96.17546959843244
- 任务：类型：分类数据集：类型：mteb/amazon_reviews_multi 名称：MTEB AmazonReviewsClassification (en) 配置：en 拆分：test 修订：1399c76144fd37290681b995c656ef9b2e06e26d 指标：
  - 类型：准确率值：56.278000000000006
  - 类型：F1分数值：55.45101875980304
- 任务：类型：检索数据集：类型：arguana 名称：MTEB ArguAna 配置：default 拆分：test 修订：无指标：
  - 类型：NDCG@1 值：33.642
  - 类型：NDCG@3 值：49.399
  - 类型：NDCG@5 值：54.108999999999995
  - 类型：NDCG@10 值：59.294999999999995
  - 类型：NDCG@100 值：62.015
  - 类型：MAP@1 值：33.642
  - 类型：MAP@3 值：45.507
  - 类型：MAP@5 值：48.1
  - 类型：MAP@10 值：50.248000000000005
  - 类型：MAP@100 值：50.954
  - 类型：召回率@1 值：33.642
  - 类型：召回率@3 值：60.669
  - 类型：召回率@5 值：72.191
  - 类型：召回率@10 值：88.193
  - 类型：召回率@100 值：99.431
  - 类型：精确率@1 值：33.642
  - 类型：精确率@3 值：20.223
  - 类型：精确率@5 值：14.438
  - 类型：精确率@10 值：8.819
  - 类型：精确率@100 值：0.9939999999999999
  - 类型：MRR@1 值：33.997
  - 类型：MRR@3 值：45.614
  - 类型：MRR@5 值：48.263
  - 类型：MRR@10 值：50.388999999999996
  - 类型：MRR@100 值：51.102000000000004
- 任务：类型：聚类数据集：类型：mteb/arxiv-clustering-p2p 名称：MTEB ArxivClusteringP2P 配置：default 拆分：test 修订：a122ad7f3f0291bf49cc6f4d32aa80929df69d5d 指标：
  - 类型：V-measure 值：51.1249344529392
- 任务：类型：聚类数据集：类型：mteb/arxiv-clustering-s2s 名称：MTEB ArxivClusteringS2S 配置：default 拆分：test 修订：f910caf1a6075f7329cdf8c1a6135696f37dbd53 指标：
  - 类型：V-measure 值：47.01575217563573
- 任务：类型：重排序数据集：类型：mteb/askubuntudupquestions-reranking 名称：MTEB AskUbuntuDupQuestions 配置：default 拆分：test 修订：2000358ca161889fa9c082cb41daa8dcfb161a54 指标：
  - 类型：MAP 值：67.2259454062751
  - 类型：MRR 值：79.37508244294948
- 任务：类型：STS 数据集：类型：mteb/biosses-sts 名称：MTEB BIOSSES 配置：default 拆分：test 修订：d3fb88f8f02e40887cd149695127462bbcf29b4a 指标：
  - 类型：余弦相似度皮尔逊值：89.5312396547344
  - 类型：余弦相似度斯皮尔曼值：87.1447567367366
  - 类型：欧几里得皮尔逊值：88.67110804544821
  - 类型：欧几里得斯皮尔曼值：87.1447567367366
  - 类型：曼哈顿皮尔逊值：89.06983994154335
  - 类型：曼哈顿斯皮尔曼值：87.59115245033443
- 任务：类型：分类数据集：类型：mteb/banking77 名称：MTEB Banking77Classification 配置：default 拆分：test 修订：0fd18e25b25c072e09e0d92ab615fda904d66300 指标：
  - 类型：准确率值：88.63636363636364
  - 类型：F1分数值：88.58740097633193
- 任务：类型：聚类数据集：类型：mteb/biorxiv-clustering-p2p 名称：MTEB BiorxivClusteringP2P 配置：default 拆分：test 修订：65b79d1d13f80053f67aca9498d9402c2d9f1f40 指标：
  - 类型：V-measure 值：41.99753263006505
- 任务：类型：聚类数据集：类型：mteb/biorxiv-clustering-s2s 名称：MTEB BiorxivClusteringS2S 配置：default 拆分：test 修订：258694dd0231531bc1fd9de6ceb52a0853c6d908 指标：
  - 类型：V-measure 值：39.623067884052666
- 任务：类型：检索数据集：类型：BeIR/cqadupstack 名称：MTEB CQADupstackRetrieval 配置：default 拆分：test 修订：无指标：
  - 类型：NDCG@1 值：30.904666666666664
  - 类型：NDCG@3 值：36.32808333333333
  - 类型：NDCG@5 值：38.767250000000004
  - 类型：NDCG@10 值：41.62008333333333
  - 类型：NDCG@100 值：47.118083333333324
  - 类型：MAP@1 值：25.7645
  - 类型：MAP@3 值：32.6235
  - 类型：MAP@5 值：34.347
  - 类型：MAP@10 值：35.79658333333333
  - 类型：MAP@100 值：37.10391666666666
  - 类型：召回率@1 值：25.7645
  - 类型：召回率@3 值：39.622666666666674
  - 类型：召回率@5 值：45.938750000000006
  - 类型：召回率@10 值：54.43816666666667
  - 类型：召回率@100 值：78.66183333333333
  - 类型：精确率@1 值：30.904666666666664
  - 类型：精确率@3 值：17.099083333333333
  - 类型：精确率@5 值：12.278416666666669
  - 类型：精确率@10 值：7.573083333333335
  - 类型：精确率@100 值：1.22275
  - 类型：MRR@1 值：30.904666666666664
  - 类型：MRR@3 值：37.458333333333336
  - 类型：MRR@5 值：38.97333333333333
  - 类型：MRR@10 值：40.10316666666666
  - 类型：MRR@100 值：41.004250000000006
- 任务：类型：检索数据集：类型：climate-fever 名称：MTEB ClimateFEVER 配置：default 拆分：test 修订：无指标：
  - 类型：NDCG@1 值：38.046
  - 类型：NDCG@3 值：31.842
  - 类型：NDCG@5 值：33.698
  - 类型：NDCG@10 值：37.765
  - 类型：NDCG@100 值：44.998
  - 类型：MAP@1 值：16.682
  - 类型：MAP@3 值：23.624000000000002
  - 类型：MAP@5 值：25.812
  - 类型：MAP@10 值：28.017999999999997
  - 类型：MAP@100 值：30.064999999999998
  - 类型：召回率@1 值：16.682
  - 类型：召回率@3 值：28.338
  - 类型：召回率@5 值：34.486
  - 类型：召回率@10 值：43.474000000000004
  - 类型：召回率@100 值：67.984
  - 类型：精确率@1 值：38.046
  - 类型：精确率@3 值：23.779
  - 类型：精确率@5 值：17.849999999999998
  - 类型：精确率@10 值：11.642
  - 类型：精确率@100 值：1.9429999999999998
  - 类型：MRR@1 值：38.046
  - 类型：MRR@3 值：46.764
  - 类型：MRR@5 值：48.722
  - 类型：MRR@10 值：49.976
  - 类型：MRR@100 值：50.693999999999996
- 任务：类型：检索数据集：类型：dbpedia-entity 名称：MTEB DBPedia 配置：default 拆分：test 修订：无指标：
  - 类型：NDCG@1 值：63.24999999999999
  - 类型：NDCG@3 值：54.005
  - 类型：NDCG@5 值：51.504000000000005
  - 类型：NDCG@10 值：49.738
  - 类型：NDCG@100 值：54.754000000000005
  - 类型：MAP@1 值：10.639
  - 类型：MAP@3 值：16.726
  - 类型：MAP@5 值：20.101
  - 类型：MAP@10 值：24.569
  - 类型：MAP@100 值：35.221999999999994
  - 类型：召回率@1 值：10.639
  - 类型：召回率@3 值：17.861
  - 类型：召回率@5 值：22.642
  - 类型：召回率@10 值：30.105999999999998
  - 类型：召回率@100 值：60.92999999999999
  - 类型：精确率@1 值：75.0
  - 类型：精确率@3 值：58.083
  - 类型：精确率@5 值：50.0
  - 类型：精确率@10 值：40.35
  - 类型：精确率@100 值：12.659999999999998
  - 类型：MRR@1 值：75.0
  - 类型：MRR@3 值：80.042
  - 类型：MRR@5 值：80.779
  - 类型：MRR@10 值：81.355
  - 类型：MRR@100 值：81.58
- 任务：类型：分类数据集：类型：mteb/emotion 名称：MTEB EmotionClassification 配置：default 拆分：test 修订：4f58c6b202a23cf9a4da393831edf4f9183cad37 指标：
  - 类型：准确率值：51.025
  - 类型：F1分数值：47.08253474922065
- 任务：类型：检索数据集：类型：fever 名称：MTEB FEVER 配置：default 拆分：test 修订：无指标：
  - 类型：NDCG@1 值：82.163
  - 类型：NDCG@3 值：86.835
  - 类型：NDCG@5 值：87.802
  - 类型：NDCG@10 值：88.529
  - 类型：NDCG@100 值：89.17
  - 类型：MAP@1 值：76.335
  - 类型：MAP@3 值：83.91499999999999
  - 类型：MAP@5 值：84.64500000000001
  - 类型：MAP@10 值：85.058
  - 类型：MAP@100 值：85.257
  - 类型：召回率@1 值：76.335
  - 类型：召回率@3 值：90.608
  - 类型：召回率@5 值：93.098
  - 类型：召回率@10 值：95.173
  - 类型：召回率@100 值：97.59299999999999
  - 类型：精确率@1 值：82.163
  - 类型：精确率@3 值：33.257999999999996
  - 类型：精确率@5 值：20.654
  - 类型：精确率@10 值：10.674999999999999
  - 类型：精确率@100 值：1.122
  - 类型：MRR@1 值：82.163
  - 类型：MRR@3 值：88.346
  - 类型：MRR@5 值：88.791
  - 类型：MRR@10 值：88.97699999999999
  - 类型：MRR@100 值：89.031
- 任务：类型：检索数据集：类型：fiqa 名称：MTEB FiQA2018 配置：default 拆分：test 修订：无指标：
  - 类型：NDCG@1 值：55.093
  - 类型：NDCG@3 值：52.481
  - 类型：NDCG@5 值：53.545
  - 类型：NDCG@10 值：56.053
  - 类型：NDCG@100 值：62.53999999999999
  - 类型：MAP@1 值：29.189999999999998
  - 类型：MAP@3 值：42.603
  - 类型：MAP@5 值：45.855000000000004
  - 类型：MAP@10 值：48.241
  - 类型：MAP@100 值：50.300999999999995
  - 类型：召回率@1 值：29.189999999999998
  - 类型：召回率@3 值：47.471999999999994
  - 类型：召回率@5 值：54.384
  - 类型：召回率@10 值：62.731
  - 类型：召回率@100 值：86.02300000000001
  - 类型：精确率@1 值：55.093
  - 类型：精确率@3 值：34.979
  - 类型：精确率@5 值：25.278
  - 类型：精确率@10 值：15.231
  - 类型：精确率@100 值：2.2190000000000003
  - 类型：MRR@1 值：55.093
  - 类型：MRR@3 值：61.317
  - 类型：MRR@5 值：62.358999999999995
  - 类型：MRR@10 值：63.165000000000006
  - 类型：MRR@100 值：63.81
- 任务：类型：检索数据集：类型：hotpotqa 名称：MTEB HotpotQA 配置：default 拆分：test 修订：无指标：
  - 类型：NDCG@1 值：78.866
  - 类型：NDCG@3 值：70.128
  - 类型：NDCG@5 值：73.017
  - 类型：NDCG@10 值：75.166
  - 类型：NDCG@100 值：77.97500000000001
  - 类型：MAP@1 值：39.433
  - 类型：MAP@3 值：64.165
  - 类型：MAP@5 值：66.503
  - 类型：MAP@10 值：67.822
  - 类型：MAP@100 值：68.675
  - 类型：召回率@1 值：39.433
  - 类型：召回率@3 值：69.03399999999999
  - 类型：召回率@5 值：74.74
  - 类型：召回率@10 值：80.108
  - 类型：召回率@100 值：90.81700000000001
  - 类型：精确率@1 值：78.866
  - 类型：精确率@3 值：46.022999999999996
  - 类型：精确率@5 值：29.896
  - 类型：精确率@10 值：16.022
  - 类型：精确率@100 值：1.8159999999999998
  - 类型：MRR@1 值：78.866
  - 类型：MRR@3 值：83.91
  - 类型：MRR@5 值：84.473
  - 类型：MRR@10 值：84.769
  - 类型：MRR@100 值：84.953
- 任务：类型：分类数据集：类型：mteb/imdb 名称：MTEB ImdbClassification 配置：default 拆分：test 修订：3d86128a09e091d6018b6d26cad27f2739fc2db7 指标：
  - 类型：准确率值：94.87799999999999
  - 类型：平均精度值：92.5831019543702
  - 类型：F1分数值：94.87675087619891
- 任务：类型：检索数据集：类型：msmarco 名称：MTEB MSMARCO 配置：default 拆分：test 修订：无指标：
  - 类型：NDCG@1 值：23.195
  - 类型：NDCG@3 值：34.419
  - 类型：NDCG@5 值：38.665
  - 类型：NDCG@10 值：42.549
  - 类型：NDCG@100 值：48.256
  - 类型：MAP@1 值：22.508
  - 类型：MAP@3 值：31.346
  - 类型：MAP@5 值：33.73
  - 类型：MAP@10 值：35.365
  - 类型：MAP@100 值：36.568
  - 类型：召回率@1 值：22.508
  - 类型：召回率@3 值：42.63
  - 类型：召回率@5 值：52.827999999999996
  - 类型：召回率@10 值：64.645
  - 类型：召回率@100 值：90.852
  - 类型：精确率@1 值：23.195
  - 类型：精确率@3 值：14.752
  - 类型：精确率@5 值：11.0
  - 类型：精确率@10 值：6.755
  - 类型：精确率@100 值：0.96
  - 类型：MRR@1 值：23.195
  - 类型：MRR@3 值：32.042
  - 类型：MRR@5 值：34.388000000000005
  - 类型：MRR@10 值：35.974000000000004
  - 类型：MRR@100 值：37.114000000000004
- 任务：类型：分类数据集：类型：mteb/mtop_domain 名称：MTEB MTOPDomainClassification (en) 配置：en 拆分：test 修订：d80d48c1eb48d3562165c59d59d0034df9fff0bf 指标：
  - 类型：准确率值：95.84587323301413
  - 类型：F1分数值：95.69948889844318
- 任务：类型：分类数据集：类型：mteb/mtop_intent 名称：MTEB MTOPIntentClassification (en) 配置：en 拆分：test 修订：ae001d0e6b1228650b7bd1c2c65fb50ad11a8aba 指标：
  - 类型：准确率值：87.08162334701322
  - 类型：F1分数值：72.237783326283
- 任务：类型：分类数据集：类型：mteb/amazon_massive_intent 名称：MTEB MassiveIntentClassification (en) 配置：en 拆分：test 修订：31efe3c427b0bae9c22cbb560b8f15491cc6bed7 指标：
  - 类型：准确率值：80.19502353732346
  - 类型：F1分数值：77.732184986995
- 任务：类型：分类数据集：类型：mteb/amazon_massive_scenario 名称：MTEB MassiveScenarioClassification (en) 配置：en 拆分：test 修订：7d571f92784cd94a019292a1f45445077d0ef634 指标：
  - 类型：准确率值：82.26630800268998
  - 类型：F1分数值：82.12747916248556
- 任务：类型：聚类数据集：类型：mteb/medrxiv-clustering-p2p 名称：MTEB MedrxivClusteringP2P 配置：default 拆分：test 修订：e7a26af6f3ae46b30dde8737f02c07b1505bcc73 指标：
  - 类型：V-measure 值：36.95240450167033
- 任务：类型：聚类数据集：类型：mteb/medrxiv-clustering-s2s 名称：MTEB MedrxivClusteringS2S 配置：default 拆分：test 修订：35191c8c0dca72d8ff3efcd72aa802307d469663 指标：
  - 类型：V-measure 值：36.27758530931266
- 任务：类型：重排序数据集：类型：mteb/mind_small 名称：MTEB MindSmallReranking 配置：default 拆分：test 修订：3bdac13927fdc888b903db93b2ffdbd90b295a69 指标：
  - 类型：MAP 值：33.35707665482982
  - 类型：MRR 值：34.60987842278547
- 任务：类型：检索数据集：类型：nfcorpus 名称：MTEB NFCorpus 配置：default 拆分：test 修订：无指标：
  - 类型：NDCG@1 值：47.522999999999996
  - 类型：NDCG@3 值：44.489000000000004
  - 类型：NDCG@5 值：41.92
  - 类型：NDCG@10 值：38.738
  - 类型：NDCG@100 值：35.46
  - 类型：MAP@1 值：5.357
  - 类型：MAP@3 值：10.537
  - 类型：MAP@5 值：12.062000000000001
  - 类型：MAP@10 值：14.264
  - 类型：MAP@100 值：18.442
  - 类型：召回率@1 值：5.357
  - 类型：召回率@3 值：12.499
  - 类型：召回率@5 值：14.809
  - 类型：召回率@10 值：18.765
  - 类型：召回率@100 值：36.779
  - 类型：精确率@1 值：49.226
  - 类型：精确率@3 值：41.899
  - 类型：精确率@5 值：36.718
  - 类型：精确率@10 值：29.287999999999997
  - 类型：精确率@100 值：9.22
  - 类型：MRR@1 值：49.845
  - 类型：MRR@3 值：57.121
  - 类型：MRR@5 值：58.172999999999995
  - 类型：MRR@10 值：58.906000000000006
  - 类型：MRR@100 值：59.486000000000004
- 任务：类型：检索数据集：类型：nq 名称：MTEB NQ 配置：default 拆分：test 修订：无指标：
  - 类型：NDCG@1 值：42.815999999999995
  - 类型：NDCG@3 值：53.766999999999996
  - 类型：NDCG@5 值：57.957
  - 类型：NDCG@10 值：61.661
  - 类型：NDCG@100 值：65.218
  - 类型：MAP@1 值：38.364
  - 类型：MAP@3 值：49.782
  - 类型：MAP@5 值：52.319
  - 类型：MAP@10 值：54.07300000000001
  - 类型：MAP@100 值：54.983000000000004
  - 类型：召回率@1 值：38.364
  - 类型：召回率@3 值：61.744
  - 类型：召回率@5 值：71.32300000000001
  - 类型：召回率@10 值：82.015
  - 类型：召回率@100 值：96.978
  - 类型：精确率@1 值：42.815999999999995
  - 类型：精确率@3 值：23.976
  - 类型：精确率@5 值：16.866
  - 类型：精确率@10 值：9.806
  - 类型：精确率@100 值：1.1769999999999998
  - 类型：MRR@1 值：42.845
  - 类型：MRR@3 值：53.307
  - 类型：MRR@5