Snowflake Arctic Embed M

由 Snowflake 开发

Snowflake Arctic Embed M 是一个专注于句子相似度任务的句子转换器模型，能够高效提取文本特征并计算句子间的相似度。

文本嵌入

Transformers

开源协议:Apache-2.0 #句子相似度计算 #多任务评估 #高精度语义匹配

下载量 722.08k

发布时间 : 4/11/2024

模型介绍

内容详情

替代品

模型简介

该模型主要用于句子相似度计算和特征提取，在多个标准数据集上表现出色，支持多种自然语言处理任务。

模型特点

高效句子相似度计算

在多个标准数据集上表现出色，能够准确计算句子间的语义相似度

多任务支持

支持分类、聚类、检索等多种自然语言处理任务

MTEB基准测试验证

在MTEB多个基准测试中表现优异，验证了模型的广泛适用性

模型能力

句子相似度计算

文本特征提取

文本分类

文本聚类

信息检索

使用案例

电子商务

产品评论分类

对亚马逊产品评论进行情感分类

在AmazonPolarity数据集上达到82.83%的准确率

反事实评论检测

识别亚马逊上的反事实评论

在AmazonCounterfactual数据集上达到76.81%的准确率

金融

银行客服问题分类

对银行客户问题进行自动分类

在Banking77数据集上达到80.34%的准确率

学术研究

论文聚类

对arXiv和biorxiv论文进行主题聚类

在ArxivClusteringP2P数据集上V度量达到47.24%

pipeline_tag: 句子相似度 tags:

句子转换器
特征提取
句子相似度
mteb
arctic
snowflake-arctic-embed
transformers.js model-index:
name: snowflake-arctic-embed-m results:
- task: type: 分类 dataset: type: mteb/amazon_counterfactual name: MTEB AmazonCounterfactual分类 (英文) config: en split: 测试集 revision: e8379541af4e31359cca9fbcf4b00f2671dba205 metrics:
  - type: 准确率 value: 76.80597014925374
  - type: 平均精度 value: 39.31198155789558
  - type: F1分数 value: 70.48198448222148
- task: type: 分类 dataset: type: mteb/amazon_polarity name: MTEB AmazonPolarity分类 config: 默认 split: 测试集 revision: e2d317d38cd51312af73b3d32a06d1a08b442046 metrics:
  - type: 准确率 value: 82.831525
  - type: 平均精度 value: 77.4474050181638
  - type: F1分数 value: 82.77204845110204
- task: type: 分类 dataset: type: mteb/amazon_reviews_multi name: MTEB AmazonReviews分类 (英文) config: en split: 测试集 revision: 1399c76144fd37290681b995c656ef9b2e06e26d metrics:
  - type: 准确率 value: 38.93000000000001
  - type: F1分数 value: 37.98013371053459
- task: type: 检索 dataset: type: mteb/arguana name: MTEB ArguAna config: 默认 split: 测试集 revision: c22ab2a51041ffd869aaddef7af8d8215647e41a metrics:
  - type: 平均精度@1 value: 31.223
  - type: 平均精度@10 value: 47.43
  - type: 平均精度@100 value: 48.208
  - type: 平均精度@1000 value: 48.211
  - type: 平均精度@3 value: 42.579
  - type: 平均精度@5 value: 45.263999999999996
  - type: 平均倒数排名@1 value: 31.65
  - type: 平均倒数排名@10 value: 47.573
  - type: 平均倒数排名@100 value: 48.359
  - type: 平均倒数排名@1000 value: 48.362
  - type: 平均倒数排名@3 value: 42.734
  - type: 平均倒数排名@5 value: 45.415
  - type: 标准化折损累积增益@1 value: 31.223
  - type: 标准化折损累积增益@10 value: 56.436
  - type: 标准化折损累积增益@100 value: 59.657000000000004
  - type: 标准化折损累积增益@1000 value: 59.731
  - type: 标准化折损累积增益@3 value: 46.327
  - type: 标准化折损累积增益@5 value: 51.178000000000004
  - type: 精确率@1 value: 31.223
  - type: 精确率@10 value: 8.527999999999999
  - type: 精确率@100 value: 0.991
  - type: 精确率@1000 value: 0.1
  - type: 精确率@3 value: 19.061
  - type: 精确率@5 value: 13.797999999999998
  - type: 召回率@1 value: 31.223
  - type: 召回率@10 value: 85.277
  - type: 召回率@100 value: 99.075
  - type: 召回率@1000 value: 99.644
  - type: 召回率@3 value: 57.18299999999999
  - type: 召回率@5 value: 68.99
- task: type: 聚类 dataset: type: mteb/arxiv-clustering-p2p name: MTEB ArxivClusteringP2P config: 默认 split: 测试集 revision: a122ad7f3f0291bf49cc6f4d32aa80929df69d5d metrics:
  - type: V度量 value: 47.23625429411296
- task: type: 聚类 dataset: type: mteb/arxiv-clustering-s2s name: MTEB ArxivClusteringS2S config: 默认 split: 测试集 revision: f910caf1a6075f7329cdf8c1a6135696f37dbd53 metrics:
  - type: V度量 value: 37.433880471403654
- task: type: 重排序 dataset: type: mteb/askubuntudupquestions-reranking name: MTEB AskUbuntuDupQuestions config: 默认 split: 测试集 revision: 2000358ca161889fa9c082cb41daa8dcfb161a54 metrics:
  - type: 平均精度 value: 60.53175025582013
  - type: 平均倒数排名 value: 74.51160796728664
- task: type: 语义文本相似度 dataset: type: mteb/biosses-sts name: MTEB BIOSSES config: 默认 split: 测试集 revision: d3fb88f8f02e40887cd149695127462bbcf29b4a metrics:
  - type: 余弦相似度皮尔逊相关系数 value: 88.93746103286769
  - type: 余弦相似度斯皮尔曼相关系数 value: 86.62245567912619
  - type: 欧氏距离皮尔逊相关系数 value: 87.154173907501
  - type: 欧氏距离斯皮尔曼相关系数 value: 86.62245567912619
  - type: 曼哈顿距离皮尔逊相关系数 value: 87.17682026633462
  - type: 曼哈顿距离斯皮尔曼相关系数 value: 86.74775973908348
- task: type: 分类 dataset: type: mteb/banking77 name: MTEB Banking77分类 config: 默认 split: 测试集 revision: 0fd18e25b25c072e09e0d92ab615fda904d66300 metrics:
  - type: 准确率 value: 80.33766233766232
  - type: F1分数 value: 79.64931422442245
- task: type: 聚类 dataset: type: jinaai/big-patent-clustering name: MTEB BigPatentClustering config: 默认 split: 测试集 revision: 62d5330920bca426ce9d3c76ea914f15fc83e891 metrics:
  - type: V度量 value: 19.116028913890613
- task: type: 聚类 dataset: type: mteb/biorxiv-clustering-p2p name: MTEB BiorxivClusteringP2P config: 默认 split: 测试集 revision: 65b79d1d13f80053f67aca9498d9402c2d9f1f40 metrics:
  - type: V度量 value: 36.966921852810174
- task: type: 聚类 dataset: type: mteb/biorxiv-clustering-s2s name: MTEB BiorxivClusteringS2S config: 默认 split: 测试集 revision: 258694dd0231531bc1fd9de6ceb52a0853c6d908 metrics:
  - type: V度量 value: 31.98019698537654
- task: type: 检索 dataset: type: mteb/cqadupstack-android name: MTEB CQADupstackAndroid检索 config: 默认 split: 测试集 revision: f46a197baaae43b4f621051089b82a364682dfeb metrics:
  - type: 平均精度@1 value: 34.079
  - type: 平均精度@10 value: 46.35
  - type: 平均精度@100 value: 47.785
  - type: 平均精度@1000 value: 47.903
  - type: 平均精度@3 value: 42.620999999999995
  - type: 平均精度@5 value: 44.765
  - type: 平均倒数排名@1 value: 41.345
  - type: 平均倒数排名@10 value: 52.032000000000004
  - type: 平均倒数排名@100 value: 52.690000000000005
  - type: 平均倒数排名@1000 value: 52.727999999999994
  - type: 平均倒数排名@3 value: 49.428
  - type: 平均倒数排名@5 value: 51.093999999999994
  - type: 标准化折损累积增益@1 value: 41.345
  - type: 标准化折损累积增益@10 value: 53.027
  - type: 标准化折损累积增益@100 value: 57.962
  - type: 标准化折损累积增益@1000 value: 59.611999999999995
  - type: 标准化折损累积增益@3 value: 47.687000000000005
  - type: 标准化折损累积增益@5 value: 50.367
  - type: 精确率@1 value: 41.345
  - type: 精确率@10 value: 10.157
  - type: 精确率@100 value: 1.567
  - type: 精确率@1000 value: 0.199
  - type: 精确率@3 value: 23.081
  - type: 精确率@5 value: 16.738
  - type: 召回率@1 value: 34.079
  - type: 召回率@10 value: 65.93900000000001
  - type: 召回率@100 value: 86.42699999999999
  - type: 召回率@1000 value: 96.61
  - type: 召回率@3 value: 50.56699999999999
  - type: 召回率@5 value: 57.82000000000001
- task: type: 检索 dataset: type: mteb/cqadupstack-english name: MTEB CQADupstackEnglish检索 config: 默认 split: 测试集 revision: ad9991cb51e31e31e430383c75ffb2885547b5f0 metrics:
  - type: 平均精度@1 value: 33.289
  - type: 平均精度@10 value: 43.681
  - type: 平均精度@100 value: 45.056000000000004
  - type: 平均精度@1000 value: 45.171
  - type: 平均精度@3 value: