Snowflake Arctic Embed S

由 Snowflake 开发

Snowflake Arctic Embed S 是一个专注于句子相似度任务的嵌入模型，由 Snowflake 公司开发。它在多种文本相关任务上表现出色，包括分类、聚类和检索等。

文本嵌入

Transformers

开源协议:Apache-2.0 #句子相似度计算 #多任务嵌入 #高精度语义匹配

下载量 32.13k

发布时间 : 4/12/2024

模型介绍

内容详情

替代品

模型简介

该模型是一个句子转换器，主要用于特征提取和句子相似度计算。它在 MTEB（Massive Text Embedding Benchmark）基准测试中表现良好，适用于多种自然语言处理任务。

模型特点

高性能句子嵌入

在多种文本相似度和分类任务上表现优异，如亚马逊评论分类准确率达78.75%

多任务支持

支持广泛的自然语言处理任务，包括分类、聚类、检索和重排序等

MTEB基准测试验证

在Massive Text Embedding Benchmark多个数据集上进行了全面评估

模型能力

句子相似度计算

文本特征提取

文本分类

文本聚类

信息检索

问答系统支持

使用案例

电子商务

产品评论分类

对亚马逊产品评论进行情感极性分类

在亚马逊极性分类任务中达到78.75%准确率

反事实评论检测

识别亚马逊平台上的反事实评论

准确率71.18%，F1分数64.86%

客户服务

银行问题分类

对银行客户问题进行自动分类

在Banking77数据集上达到79.12%准确率

学术研究

论文聚类

对arXiv和biorxiv论文进行主题聚类

在arXiv P2P聚类任务中V-measure达到44.94

pipeline_tag: 句子相似度 tags:

句子转换器
特征提取
句子相似度
MTEB
北极
雪花北极嵌入
transformers.js model-index:
name: snowflake-snowflake-arctic-embed-s results:
- task: type: 分类 dataset: type: mteb/amazon_counterfactual name: MTEB AmazonCounterfactualClassification (英文) config: en split: 测试集 revision: e8379541af4e31359cca9fbcf4b00f2671dba205 metrics:
  - type: 准确率 value: 71.17910447761193
  - type: 平均精度 value: 33.15833652904991
  - type: F1分数 value: 64.86214791591543
- task: type: 分类 dataset: type: mteb/amazon_polarity name: MTEB AmazonPolarityClassification config: 默认 split: 测试集 revision: e2d317d38cd51312af73b3d32a06d1a08b442046 metrics:
  - type: 准确率 value: 78.750325
  - type: 平均精度 value: 72.83242788470943
  - type: F1分数 value: 78.63968044029453
- task: type: 分类 dataset: type: mteb/amazon_reviews_multi name: MTEB AmazonReviewsClassification (英文) config: en split: 测试集 revision: 1399c76144fd37290681b995c656ef9b2e06e26d metrics:
  - type: 准确率 value: 38.264
  - type: F1分数 value: 37.140269688532825
- task: type: 检索 dataset: type: mteb/arguana name: MTEB ArguAna config: 默认 split: 测试集 revision: c22ab2a51041ffd869aaddef7af8d8215647e41a metrics:
  - type: 平均精度@1 value: 32.646
  - type: 平均精度@10 value: 48.372
  - type: 平均精度@100 value: 49.207
  - type: 平均精度@1000 value: 49.214
  - type: 平均精度@3 value: 43.611
  - type: 平均精度@5 value: 46.601
  - type: 平均倒数排名@1 value: 33.144
  - type: 平均倒数排名@10 value: 48.557
  - type: 平均倒数排名@100 value: 49.385
  - type: 平均倒数排名@1000 value: 49.392
  - type: 平均倒数排名@3 value: 43.777
  - type: 平均倒数排名@5 value: 46.792
  - type: 标准化折损累积增益@1 value: 32.646
  - type: 标准化折损累积增益@10 value: 56.874
  - type: 标准化折损累积增益@100 value: 60.307
  - type: 标准化折损累积增益@1000 value: 60.465999999999994
  - type: 标准化折损累积增益@3 value: 47.339999999999996
  - type: 标准化折损累积增益@5 value: 52.685
  - type: 精确率@1 value: 32.646
  - type: 精确率@10 value: 8.378
  - type: 精确率@100 value: 0.984
  - type: 精确率@1000 value: 0.1
  - type: 精确率@3 value: 19.393
  - type: 精确率@5 value: 14.210999999999999
  - type: 召回率@1 value: 32.646
  - type: 召回率@10 value: 83.784
  - type: 召回率@100 value: 98.43499999999999
  - type: 召回率@1000 value: 99.644
  - type: 召回率@3 value: 58.179
  - type: 召回率@5 value: 71.053
- task: type: 聚类 dataset: type: mteb/arxiv-clustering-p2p name: MTEB ArxivClusteringP2P config: 默认 split: 测试集 revision: a122ad7f3f0291bf49cc6f4d32aa80929df69d5d metrics:
  - type: V度量 value: 44.94353025039141
- task: type: 聚类 dataset: type: mteb/arxiv-clustering-s2s name: MTEB ArxivClusteringS2S config: 默认 split: 测试集 revision: f910caf1a6075f7329cdf8c1a6135696f37dbd53 metrics:
  - type: V度量 value: 35.870836103029156
- task: type: 重排序 dataset: type: mteb/askubuntudupquestions-reranking name: MTEB AskUbuntuDupQuestions config: 默认 split: 测试集 revision: 2000358ca161889fa9c082cb41daa8dcfb161a54 metrics:
  - type: 平均精度 value: 61.149290266979236
  - type: 平均倒数排名 value: 73.8448093919008
- task: type: 语义文本相似度 dataset: type: mteb/biosses-sts name: MTEB BIOSSES config: 默认 split: 测试集 revision: d3fb88f8f02e40887cd149695127462bbcf29b4a metrics:
  - type: 余弦相似度皮尔逊相关系数 value: 87.055571064151
  - type: 余弦相似度斯皮尔曼相关系数 value: 86.2652186235749
  - type: 欧氏距离皮尔逊相关系数 value: 85.82039272282503
  - type: 欧氏距离斯皮尔曼相关系数 value: 86.2652186235749
  - type: 曼哈顿距离皮尔逊相关系数 value: 85.95825392094812
  - type: 曼哈顿距离斯皮尔曼相关系数 value: 86.6742640885316
- task: type: 分类 dataset: type: mteb/banking77 name: MTEB Banking77Classification config: 默认 split: 测试集 revision: 0fd18e25b25c072e09e0d92ab615fda904d66300 metrics:
  - type: 准确率 value: 79.11688311688312
  - type: F1分数 value: 78.28328901613885
- task: type: 聚类 dataset: type: jinaai/big-patent-clustering name: MTEB BigPatentClustering config: 默认 split: 测试集 revision: 62d5330920bca426ce9d3c76ea914f15fc83e891 metrics:
  - type: V度量 value: 19.147523589859325
- task: type: 聚类 dataset: type: mteb/biorxiv-clustering-p2p name: MTEB BiorxivClusteringP2P config: 默认 split: 测试集 revision: 65b79d1d13f80053f67aca9498d9402c2d9f1f40 metrics:
  - type: V度量 value: 35.68369864124274
- task: type: 聚类 dataset: type: mteb/biorxiv-clustering-s2s name: MTEB BiorxivClusteringS2S config: 默认 split: 测试集 revision: 258694dd0231531bc1fd9de6ceb52a0853c6d908 metrics:
  - type: V度量 value: 30.474958792950872
- task: type: 检索 dataset: type: mteb/cqadupstack-android name: MTEB CQADupstackAndroidRetrieval config: 默认 split: 测试集 revision: f46a197baaae43b4f621051089b82a364682dfeb metrics:
  - type: 平均精度@1 value: 33.183
  - type: 平均精度@10 value: 43.989
  - type: 平均精度@100 value: 45.389
  - type: 平均精度@1000 value: 45.517
  - type: 平均精度@3 value: 40.275
  - type: 平均精度@5 value: 42.306
  - type: 平均倒数排名@1 value: 40.486
  - type: 平均倒数排名@10 value: 49.62
  - type: 平均倒数排名@100 value: 50.351
  - type: 平均倒数排名@1000 value: 50.393
  - type: 平均倒数排名@3 value: 46.805
  - type: 平均倒数排名@5 value: 48.429
  - type: 标准化折损累积增益@1 value: 40.486
  - type: 标准化折损累积增益@10 value: 50.249
  - type: 标准化折损累积增益@100 value: 55.206
  - type: 标准化折损累积增益@1000 value: 57.145
  - type: 标准化折损累积增益@3 value: 44.852
  - type: 标准化折损累积增益@5 value: 47.355000000000004
  - type: 精确率@1 value: 40.486
  - type: 精确率@10 value: 9.571
  - type: 精确率@100 value: 1.4949999999999999
  - type: 精确率@1000 value: 0.196
  - type: 精确率@3 value: 21.173000000000002
  - type: 精确率@5 value: 15.622
  - type: 召回率@1 value: 33.183
  - type: 召回率@10 value: 62.134
  - type: 召回率@100 value: 82.73
  - type: 召回率@1000 value: 94.93599999999999
  - type: 召回率@3 value: 46.497
  - type: 召回率@5 value: 53.199
- task: type: 检索 dataset: type: mteb/cqadupstack-english name: MTEB CQADupstackEnglishRetrieval config: 默认 split: 测试集 revision: ad9991cb51e31e31e430383c75ffb2885547b5f0 metrics:
  - type: 平均精度@1 value: 32.862
  - type: 平均精度@10 value: 42.439
  - type: 平均精度@100 value: 43.736999999999995
  - type: 平均精度@1000 value: 43.864
  - type: 平均精度@3 value: 39.67
  - type: 平均精度@5 value: 41.202
  - type: 平均倒数排名@1 value