SGPT-5.8B开源句子转换器模型 - 免费部署助力句子相似度任务

首页

SGPT 5.8B Weightedmean Msmarco Specb Bitfit

由 Muennighoff 开发

SGPT-5.8B是一个基于加权平均方法的句子转换器模型，专注于句子相似度任务，采用msmarco数据集训练并应用specb-bitfit技术优化

文本嵌入

PyTorch

#句子相似度计算 #多任务评估 #高精度语义匹配

下载量 164

发布时间 : 3/2/2022

模型简介

该模型主要用于句子相似度计算和特征提取，在MTEB基准测试中表现出色，支持多种自然语言处理任务

模型特点

加权平均方法

采用加权平均技术整合句子表示，提升语义理解能力

msmarco数据集训练

使用大规模msmarco数据集进行训练，增强模型泛化能力

specb-bitfit优化

应用specb-bitfit技术进行模型优化，提高计算效率

多任务性能

在MTEB基准测试的多种任务中表现优异

模型能力

句子相似度计算

文本特征提取

语义检索

文本分类

聚类分析

问答重排序

使用案例

电子商务

产品评论分类

对Amazon产品评论进行情感分析和分类

在MTEB Amazon评论分类任务中达到39.19%准确率

反事实分析

识别Amazon平台上的反事实评论

在MTEB Amazon反事实分类任务中达到69.22%准确率

学术研究

论文聚类

对arXiv和BioRxiv学术论文进行主题聚类

在arXiv P2P聚类任务中V度量达到45.59

技术支持

重复问题检测

识别AskUbuntu论坛中的重复技术问题

重排序任务中平均精度达到61.63%

🚀 SGPT-5.8B-weightedmean-msmarco-specb-bitfit

SGPT-5.8B-weightedmean-msmarco-specb-bitfit 是一个用于句子相似度任务的模型，在多个分类、检索、聚类等任务的数据集上进行了测试，并展示了相应的性能指标。

📚 详细文档

模型基本信息

属性	详情
模型类型	用于句子相似度的模型，属于 sentence-transformers 类别，可进行特征提取
标签	sentence-transformers、feature-extraction、sentence-similarity、mteb

模型评估结果

该模型在多个任务和数据集上进行了评估，以下是详细的评估结果：

分类任务

数据集	任务类型	准确率	AP	F1
MTEB AmazonCounterfactualClassification (en)	Classification	69.22388059701493	32.04724673950256	63.25719825770428
MTEB AmazonPolarityClassification	Classification	71.26109999999998	66.16336378255403	70.89719145825303
MTEB AmazonReviewsClassification (en)	Classification	39.19199999999999	-	38.580766731113826
MTEB Banking77Classification	Classification	84.49350649350649	-	84.4249343233736

检索任务

数据集	任务类型	MAP@1	MAP@10	MAP@100	MAP@1000	MRR@1	MRR@10	MRR@100	MRR@1000	NDCG@1	NDCG@10	NDCG@100	NDCG@1000	准确率@1	准确率@10	准确率@100	准确率@1000	召回率@1	召回率@10	召回率@100	召回率@1000
MTEB ArguAna	Retrieval	27.311999999999998	42.620000000000005	43.707	43.714999999999996	27.667	42.737	43.823	43.830999999999996	27.311999999999998	51.37500000000001	55.778000000000006	55.96600000000001	27.311999999999998	7.945	0.9820000000000001	0.1	27.311999999999998	79.445	98.151	99.57300000000001
MTEB CQADupstackAndroidRetrieval	Retrieval	30.499	41.208	42.638	42.754	37.339	47.051	47.745	47.786	37.339	47.666	52.994	54.928999999999995	37.339	9.127	1.4749999999999999	0.194	30.499	60.328	82.57900000000001	95.074
MTEB CQADupstackEnglishRetrieval	Retrieval	30.613	40.781	42.018	42.132999999999996	38.408	46.631	47.332	47.368	38.408	46.379999999999995	50.81	52.663000000000004	38.408	8.656	1.3860000000000001	0.184	30.613	56.44	75.044	86.426
MTEB CQADupstackGamingRetrieval	Retrieval	37.370999999999995	49.718	50.737	50.79	42.884	53.176	53.81700000000001	53.845	42.884	55.826	59.93000000000001	61.013	42.884	9.046999999999999	1.212	0.135	37.370999999999995	70.482	88.425	96.03399999999999
MTEB CQADupstackGisRetrieval	Retrieval	22.875999999999998	31.715	32.847	32.922000000000004	24.52	33.497	34.455000000000005	34.510000000000005	24.52	36.95	42.238	44.147999999999996	24.52	5.9319999999999995	0.901	0.11	22.875999999999998	51.38	75.31099999999999	89.718
MTEB CQADupstackMathematicaRetrieval	Retrieval	14.984	23.457	24.723	24.846	18.159	27.431	28.449	28.52	18.159	28.627999999999997	34.741	37.516	18.159	5.485	0.985	0.136	14.984	40.198	67.11500000000001	86.497
MTEB CQADupstackPhysicsRetrieval	Retrieval	29.067	39.457	40.83	40.94	34.937000000000005	44.755	45.549	45.589	34.937000000000005	45.573	51.266999999999996	53.184	34.937000000000005	8.296000000000001	1.32	0.167	29.067	58.298	82.25099999999999	94.476
MTEB CQADupstackProgrammersRetrieval	Retrieval	25.985999999999997	35.746	37.067	37.191	31.735000000000003	40.515	41.459	41.516	31.735000000000003	41.484	47.047	49.427	31.735000000000003	7.66	1.234	0.16	25.985999999999997	53.761	77.149	93.342
MTEB CQADupstackRetrieval	Retrieval	24.949749999999998	34.04991666666667	35.26825	35.38316666666667	29.402833333333334	38.01633333333333	38.88033333333334	38.938500000000005	29.402833333333334	39.403166666666664	44.66408333333333	46.96283333333333	29.402833333333334	6.965833333333333	1.1330833333333334	0.15158333333333335	24.949749999999998	51.29325	74.3695	90.31299999999999
MTEB CQADupstackStatsRetrieval	Retrieval	22.081999999999997	29.215999999999998	30.163	30.269000000000002	24.847	31.918999999999997	32.817	32.897	24.847	33.4	38.354	41.045	24.847	5.353	0.853	0.116	22.081999999999997	51.29325	74.3695	90.31299999999999

聚类任务

数据集	任务类型	V-measure
MTEB ArxivClusteringP2P	Clustering	45.59037428592033
MTEB ArxivClusteringS2S	Clustering	38.86371701986363
MTEB BiorxivClusteringP2P	Clustering	36.551459722989385
MTEB BiorxivClusteringS2S	Clustering	33.69901851846774