SFR Embedding 2 R

由 Salesforce 开发

Salesforce开发的通用文本嵌入模型，在多种NLP任务上表现优异

文本嵌入

Transformers

英语

#高精度文本分类 #多任务嵌入模型 #语义检索优化

下载量 26.90k

发布时间 : 6/14/2024

模型介绍

内容详情

替代品

模型简介

这是一个高性能的文本嵌入模型，能够将文本转换为高质量的向量表示，适用于多种自然语言处理任务

模型特点

多任务高性能

在分类、聚类、检索等多种NLP任务上表现出色

通用嵌入能力

能够生成高质量的文本向量表示，适用于多种下游任务

语义理解

能够准确捕捉文本的语义信息，在语义相似度任务上表现优异

模型能力

文本分类

文本聚类

信息检索

语义相似度计算

文本重排序

使用案例

电子商务

产品评论分类

对亚马逊产品评论进行分类

在AmazonPolarity数据集上达到97.31%准确率

反事实评论检测

识别亚马逊上的反事实评论

在AmazonCounterfactual数据集上达到92.72%准确率

金融

银行客户咨询分类

对银行客户咨询进行分类

在Banking77数据集上达到90.02%准确率

学术研究

学术论文聚类

对arXiv和biorxiv论文进行聚类

在arXivClusteringP2P上v_measure达到54.02

标签：

mteb
sentence-transformers
transformers 模型索引：
名称：Salesforce/SFR-Embedding-2_R 结果：
- 任务：类型：分类数据集：类型：mteb/amazon_counterfactual 名称：MTEB AmazonCounterfactualClassification (en) 配置：en 拆分：test 修订版本：e8379541af4e31359cca9fbcf4b00f2671dba205 指标：
  - 类型：准确率值：92.71641791044776
  - 类型：平均精度值：69.47931007147756
  - 类型：F1分数值：88.0252625393374
- 任务：类型：分类数据集：类型：mteb/amazon_polarity 名称：MTEB AmazonPolarityClassification 配置：default 拆分：test 修订版本：e2d317d38cd51312af73b3d32a06d1a08b442046 指标：
  - 类型：准确率值：97.31075
  - 类型：平均精度值：96.26693923450127
  - 类型：F1分数值：97.31042448894502
- 任务：类型：分类数据集：类型：mteb/amazon_reviews_multi 名称：MTEB AmazonReviewsClassification (en) 配置：en 拆分：test 修订版本：1399c76144fd37290681b995c656ef9b2e06e26d 指标：
  - 类型：准确率值：61.040000000000006
  - 类型：F1分数值：60.78646832640785
- 任务：类型：检索数据集：类型：mteb/arguana 名称：MTEB ArguAna 配置：default 拆分：test 修订版本：c22ab2a51041ffd869aaddef7af8d8215647e41a 指标：
  - 类型：map@1 值：37.767
  - 类型：map@10 值：53.908
  - 类型：map@100 值：54.583000000000006
  - 类型：map@1000 值：54.583999999999996
  - 类型：map@20 值：54.50899999999999
  - 类型：map@3 值：49.514
  - 类型：map@5 值：52.059999999999995
  - 类型：mrr@1 值：38.26458036984353
  - 类型：mrr@10 值：54.120408001987066
  - 类型：mrr@100 值：54.780719904297406
  - 类型：mrr@1000 值：54.78174226698592
  - 类型：mrr@20 值：54.706604527160295
  - 类型：mrr@3 值：49.71550497866294
  - 类型：mrr@5 值：52.247510668563436
  - 类型：ndcg@1 值：37.767
  - 类型：ndcg@10 值：62.339999999999996
  - 类型：ndcg@100 值：64.89399999999999
  - 类型：ndcg@1000 值：64.914
  - 类型：ndcg@20 值：64.402
  - 类型：ndcg@3 值：53.33
  - 类型：ndcg@5 值：57.93899999999999
  - 类型：precision@1 值：37.767
  - 类型：precision@10 值：8.905000000000001
  - 类型：precision@100 值：0.9950000000000001
  - 类型：precision@1000 值：0.1
  - 类型：precision@20 值：4.8469999999999995
  - 类型：precision@3 值：21.456
  - 类型：precision@5 值：15.121
  - 类型：recall@1 值：37.767
  - 类型：recall@10 值：89.047
  - 类型：recall@100 值：99.502
  - 类型：recall@1000 值：99.644
  - 类型：recall@20 值：96.942
  - 类型：recall@3 值：64.36699999999999
  - 类型：recall@5 值：75.605
- 任务：类型：聚类数据集：类型：mteb/arxiv-clustering-p2p 名称：MTEB ArxivClusteringP2P 配置：default 拆分：test 修订版本：a122ad7f3f0291bf49cc6f4d32aa80929df69d5d 指标：
  - 类型：v_measure 值：54.024325012036314
- 任务：类型：聚类数据集：类型：mteb/arxiv-clustering-s2s 名称：MTEB ArxivClusteringS2S 配置：default 拆分：test 修订版本：f910caf1a6075f7329cdf8c1a6135696f37dbd53 指标：
  - 类型：v_measure 值：48.817300846601675
- 任务：类型：重排序数据集：类型：mteb/askubuntudupquestions-reranking 名称：MTEB AskUbuntuDupQuestions 配置：default 拆分：test 修订版本：2000358ca161889fa9c082cb41daa8dcfb161a54 指标：
  - 类型：map 值：66.71478959728732
  - 类型：mrr 值：79.07202216066482
- 任务：类型：STS 数据集：类型：mteb/biosses-sts 名称：MTEB BIOSSES 配置：default 拆分：test 修订版本：d3fb88f8f02e40887cd149695127462bbcf29b4a 指标：
  - 类型：余弦相似度皮尔逊值：88.79517914982239
  - 类型：余弦相似度斯皮尔曼值：87.60440576436838
  - 类型：欧几里得皮尔逊值：87.75596873521118
  - 类型：欧几里得斯皮尔曼值：87.60440576436838
  - 类型：曼哈顿皮尔逊值：87.74113773865973
  - 类型：曼哈顿斯皮尔曼值：87.50560833247899
- 任务：类型：分类数据集：类型：mteb/banking77 名称：MTEB Banking77Classification 配置：default 拆分：test 修订版本：0fd18e25b25c072e09e0d92ab615fda904d66300 指标：
  - 类型：准确率值：90.02272727272727
  - 类型：F1分数值：89.96681880265936
- 任务：类型：聚类数据集：类型：mteb/biorxiv-clustering-p2p 名称：MTEB BiorxivClusteringP2P 配置：default 拆分：test 修订版本：65b79d1d13f80053f67aca9498d9402c2d9f1f40 指标：
  - 类型：v_measure 值：50.75930389699286
- 任务：类型：聚类数据集：类型：mteb/biorxiv-clustering-s2s 名称：MTEB BiorxivClusteringS2S 配置：default 拆分：test 修订版本：258694dd0231531bc1fd9de6ceb52a0853c6d908 指标：
  - 类型：v_measure 值：46.57286439805565
- 任务：类型：检索数据集：类型：mteb/cqadupstack 名称：MTEB CQADupstackRetrieval 配置：default 拆分：test 修订版本：65ac3a16b8e91f9cee4c9828cc7c335575432a2a 指标：
  - 类型：map@1 值：28.056666666666665
  - 类型：map@10 值：39.61749999999999
  - 类型：map@100 值：41.00666666666666
  - 类型：map@1000 值：41.11358333333334
  - 类型：map@20 值：40.410250000000005
  - 类型：map@3 值：35.98591666666667
  - 类型：map@5 值：38.02
  - 类型：mrr@1 值：33.73950708467142
  - 类型：mrr@10 值：44.0987162763402
  - 类型：mrr@100 值：44.94302678553521
  - 类型：mrr@1000 值：44.98758207055161
  - 类型：mrr@20 值：44.61156907536121
  - 类型：mrr@3 值：41.247253732468415
  - 类型：mrr@5 值：42.84859071071954
  - 类型：ndcg@1 值：33.739666666666665
  - 类型：ndcg@10 值：46.10683333333334
  - 类型：ndcg@100 值：51.49275000000001
  - 类型：ndcg@1000 值：53.2585
  - 类型：ndcg@20 值：48.349
  - 类型：ndcg@3 值：40.12416666666667
  - 类型：ndcg@5 值：42.94783333333333
  - 类型：precision@1 值：33.739666666666665
  - 类型：precision@10 值：8.46025
  - 类型：precision@100 值：1.3215833333333333
  - 类型：precision@1000 值：0.16524999999999998
  - 类型：precision@20 值：4.9935833333333335
  - 类型：precision@3 值：19.00516666666667
  - 类型：precision@5 值：13.72141666666667
  - 类型：recall@1 值：28.056666666666665
  - 类型：recall@10 值：60.68825000000001
  - 类型：recall@100 值：83.74433333333334
  - 类型：recall@1000 值：95.62299999999999
  - 类型：recall@20 值：68.77641666666668
  - 类型：recall@3 值：44.06991666666667
  - 类型：recall@5 值：51.324999999999996
- 任务：类型：检索数据集：类型：mteb/climate-fever 名称：MTEB ClimateFEVER 配置：default 拆分：test 修订版本：47f2ac6acb640fc46020b02a5b59fdda04d39380 指标：
  - 类型：map@1 值：15.609
  - 类型：map@10 值：25.584
  - 类型：map@100 值：27.291999999999998
  - 类型：map@1000 值：27.471
  - 类型：map@20 值：26.497
  - 类型：map@3 值：21.61