SGPT 2.7B Weightedmean Msmarco Specb Bitfit

由 Muennighoff 开发

SGPT-2.7B是一个基于加权平均方法的句子转换器模型，专注于句子相似度任务，采用MSMARCO数据集训练并应用了BitFit技术。

文本嵌入

PyTorch

#句子相似度计算 #多任务评估 #高精度语义匹配

下载量 85

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

该模型主要用于句子相似度计算和特征提取任务，在MTEB基准测试中表现良好，适用于多种文本分类和检索场景。

模型特点

加权平均方法

采用加权平均技术处理句子表示，提高相似度计算精度

BitFit技术

应用BitFit参数高效微调方法，在保持性能的同时减少计算资源需求

多任务适应

在MTEB基准测试的多种任务上表现良好，包括分类、聚类和检索

模型能力

句子相似度计算

文本特征提取

文本分类

信息检索

文本聚类

使用案例

电子商务

产品评论分类

对Amazon产品评论进行情感极性分类

在MTEB Amazon极性分类任务中达到71.44%准确率

反事实评论检测

识别Amazon平台上的反事实评论

在MTEB Amazon反事实分类任务中达到67.57%准确率

金融

银行客服分类

对银行客户服务查询进行分类

在MTEB Banking77分类任务中达到83.22%准确率

学术

论文聚类

对Arxiv学术论文进行主题聚类

在MTEB Arxiv聚类P2P任务中V度量达到44.72

pipeline_tag: 句子相似度 tags:

句子转换器
特征提取
句子相似度
MTEB model-index:
name: SGPT-2.7B加权平均-msmarco-specb-bitfit results:
- task: type: 分类 dataset: type: mteb/amazon_counterfactual name: MTEB Amazon反事实分类 (英文) config: en split: 测试集 revision: 2d8a100785abf0ae21420d2a55b0c56e3e1ea996 metrics:
  - type: 准确率 value: 67.56716417910448
  - type: 平均精度 value: 30.75574629595259
  - type: F1分数 value: 61.805121301858655
- task: type: 分类 dataset: type: mteb/amazon_polarity name: MTEB Amazon极性分类 config: 默认 split: 测试集 revision: 80714f8dcf8cefc218ef4f8c5a966dd83f75a0e1 metrics:
  - type: 准确率 value: 71.439575
  - type: 平均精度 value: 65.91341330532453
  - type: F1分数 value: 70.90561852619555
- task: type: 分类 dataset: type: mteb/amazon_reviews_multi name: MTEB Amazon评论分类 (英文) config: en split: 测试集 revision: c379a6705fec24a2493fa68e011692605f44e119 metrics:
  - type: 准确率 value: 35.748000000000005
  - type: F1分数 value: 35.48576287186347
- task: type: 检索 dataset: type: arguana name: MTEB ArguAna config: 默认 split: 测试集 revision: 5b3e3697907184a9b77a3c99ee9ea1a9cbb1e4e3 metrics:
  - type: 前1名平均精度 value: 25.96
  - type: 前10名平均精度 value: 41.619
  - type: 前100名平均精度 value: 42.673
  - type: 前1000名平均精度 value: 42.684
  - type: 前3名平均精度 value: 36.569
  - type: 前5名平均精度 value: 39.397
  - type: 前1名倒数排名 value: 26.316
  - type: 前10名倒数排名 value: 41.772
  - type: 前100名倒数排名 value: 42.82
  - type: 前1000名倒数排名 value: 42.83
  - type: 前3名倒数排名 value: 36.724000000000004
  - type: 前5名倒数排名 value: 39.528999999999996
  - type: 前1名归一化折损累积增益 value: 25.96
  - type: 前10名归一化折损累积增益 value: 50.491
  - type: 前100名归一化折损累积增益 value: 54.864999999999995
  - type: 前1000名归一化折损累积增益 value: 55.10699999999999
  - type: 前3名归一化折损累积增益 value: 40.053
  - type: 前5名归一化折损累积增益 value: 45.134
  - type: 前1名精确率 value: 25.96
  - type: 前10名精确率 value: 7.8950000000000005
  - type: 前100名精确率 value: 0.9780000000000001
  - type: 前1000名精确率 value: 0.1
  - type: 前3名精确率 value: 16.714000000000002
  - type: 前5名精确率 value: 12.489
  - type: 前1名召回率 value: 25.96
  - type: 前10名召回率 value: 78.947
  - type: 前100名召回率 value: 97.795
  - type: 前1000名召回率 value: 99.644
  - type: 前3名召回率 value: 50.141999999999996
  - type: 前5名召回率 value: 62.446999999999996
- task: type: 聚类 dataset: type: mteb/arxiv-clustering-p2p name: MTEB Arxiv聚类P2P config: 默认 split: 测试集 revision: 0bbdb47bcbe3a90093699aefeed338a0f28a7ee8 metrics:
  - type: V度量 value: 44.72125714642202
- task: type: 聚类 dataset: type: mteb/arxiv-clustering-s2s name: MTEB Arxiv聚类S2S config: 默认 split: 测试集 revision: b73bd54100e5abfa6e3a23dcafb46fe4d2438dc3 metrics:
  - type: V度量 value: 35.081451519142064
- task: type: 重排序 dataset: type: mteb/askubuntudupquestions-reranking name: MTEB AskUbuntu重复问题 config: 默认 split: 测试集 revision: 4d853f94cd57d85ec13805aeeac3ae3e5eb4c49c metrics:
  - type: 平均精度 value: 59.634661990392054
  - type: 倒数排名 value: 73.6813525040672
- task: type: 语义文本相似度 dataset: type: mteb/biosses-sts name: MTEB BIOSSES config: 默认 split: 测试集 revision: 9ee918f184421b6bd48b78f6c714d86546106103 metrics:
  - type: 余弦相似度皮尔逊 value: 87.42754550496836
  - type: 余弦相似度斯皮尔曼 value: 84.84289705838664
  - type: 欧氏距离皮尔逊 value: 85.59331970450859
  - type: 欧氏距离斯皮尔曼 value: 85.8525586184271
  - type: 曼哈顿距离皮尔逊 value: 85.41233134466698
  - type: 曼哈顿距离斯皮尔曼 value: 85.52303303767404
- task: type: 分类 dataset: type: mteb/banking77 name: MTEB Banking77分类 config: 默认 split: 测试集 revision: 44fa15921b4c889113cc5df03dd4901b49161ab7 metrics:
  - type: 准确率 value: 83.21753246753246
  - type: F1分数 value: 83.15394543120915
- task: type: 聚类 dataset: type: mteb/biorxiv-clustering-p2p name: MTEB Biorxiv聚类P2P config: 默认 split: 测试集 revision: 11d0121201d1f1f280e8cc8f3d98fb9c4d9f9c55 metrics:
  - type: V度量 value: 34.41414219680629
- task: type: 聚类 dataset: type: mteb/biorxiv-clustering-s2s name: MTEB Biorxiv聚类S2S config: 默认 split: 测试集 revision: c0fab014e1bcb8d3a5e31b2088972a1e01547dc1 metrics:
  - type: V度量 value: 30.533275862270028
- task: type: 检索 dataset: type: BeIR/cqadupstack name: MTEB CQADupstackAndroid检索 config: 默认 split: 测试集 revision: 2b9f5791698b5be7bc5e10535c8690f20043c3db metrics:
  - type: 前1名平均精度 value: 30.808999999999997
  - type: 前10名平均精度 value: 40.617
  - type: 前100名平均精度 value: 41.894999999999996
  - type: 前1000名平均精度 value: 42.025
  - type: 前3名平均精度 value: 37.0
  - type: 前5名平均精度 value: 38.993
  - type: 前1名倒数排名 value: 37.482
  - type: 前10名倒数排名 value: 46.497
  - type: 前100名倒数排名 value: 47.144000000000005
  - type: 前1000名倒数排名 value: 47.189
  - type: 前3名倒数排名 value: 43.705
  - type: 前5名倒数排名 value: 45.193
  - type: 前1名归一化折损累积增益 value: 37.482
  - type: 前10名归一化折损累积增益 value: 46.688
  - type: 前100名归一化折损累积增益 value: 51.726000000000006
  - type: 前1000名归一化折损累积增益 value: 53.825
  - type: 前3名归一化折损累积增益 value: 41.242000000000004
  - type: 前5名归一化折损累积增益 value: 43.657000000000004
  - type: 前1名精确率 value: 37.482
  - type: 前10名精确率 value: 8.827
  - type: 前100名精确率 value: 1.393
  - type: 前1000名精确率 value: 0.186
  - type: 前3名精确率 value: 19.361
  - type: 前5名精确率 value: 14.106
  - type: 前1名召回率 value: 30.808999999999997
  - type: 前10名召回率 value: 58.47
  - type: 前100名召回率 value: 80.51899999999999
  - type: 前1000名召回率 value: 93.809
  - type: 前3名召回率 value: 42.462
  - type: 前5名召回率 value: 49.385
- task: type: 检索 dataset: type: BeIR/cqadupstack name: MTEB CQADupstackEnglish检索 config: 默认 split: 测试集 revision: 2b9f5791698b5be7bc5e10535c8690f20043c3db metrics:
  - type: 前1名平均精度 value: 26.962000000000003
  - type: 前10名平均精度 value: 36.93
  - type: 前100名平均精度 value: 38.102000000000004
  - type: 前1000名平均精度 value: 38.22
  - type: 前3名平均精度 value: 34.065
  - type: 前5名平均精度 value: 35.72
  - type: 前1名倒数排名