Gte Small

由 thenlper 开发

GTE-small 是一个小型通用文本嵌入模型，适用于多种自然语言处理任务，包括句子相似度计算、文本分类和检索等。

文本嵌入

英语

开源协议:MIT #句子相似度计算 #多任务文本嵌入 #高精度分类

下载量 450.86k

发布时间 : 7/27/2023

模型介绍

内容详情

替代品

模型简介

GTE-small 是一个基于句子转换器架构的文本嵌入模型，主要用于生成高质量的句子级嵌入表示，支持多种下游NLP任务。

模型特点

多任务支持

支持多种自然语言处理任务，包括分类、检索和聚类等。

高效性能

在多个基准测试中表现出色，特别是在文本分类任务上。

通用文本嵌入

能够生成高质量的句子级嵌入表示，适用于多种下游应用。

模型能力

句子相似度计算

文本分类

信息检索

文本聚类

语义文本相似度评估

使用案例

电子商务

产品评论分类

对亚马逊产品评论进行情感极性分类

在AmazonPolarity分类任务上达到91.8%的准确率

反事实评论识别

识别亚马逊平台上的反事实评论

在AmazonCounterfactual分类任务上达到73.2%的准确率

学术研究

论文聚类

对arXiv和biorxiv论文进行主题聚类

在arXiv论文聚类任务上V-measure达到47.9

问答系统

重复问题检测

识别AskUbuntu论坛中的重复问题

重排序任务中平均精度达到61.7

标签:

mteb
句子相似度
句子转换器
句子转换器模型

模型索引:

名称: gte-small 结果:
- 任务: 类型: 分类数据集: 类型: mteb/amazon_counterfactual 名称: MTEB AmazonCounterfactualClassification (en) 配置: en 分割: 测试修订: e8379541af4e31359cca9fbcf4b00f2671dba205 指标:
  - 类型: 准确率值: 73.22388059701493
  - 类型: 平均精度值: 36.09895941426988
  - 类型: F1分数值: 67.3205651539195
- 任务: 类型: 分类数据集: 类型: mteb/amazon_polarity 名称: MTEB AmazonPolarityClassification 配置: 默认分割: 测试修订: e2d317d38cd51312af73b3d32a06d1a08b442046 指标:
  - 类型: 准确率值: 91.81894999999999
  - 类型: 平均精度值: 88.5240138417305
  - 类型: F1分数值: 91.80367382706962
- 任务: 类型: 分类数据集: 类型: mteb/amazon_reviews_multi 名称: MTEB AmazonReviewsClassification (en) 配置: en 分割: 测试修订: 1399c76144fd37290681b995c656ef9b2e06e26d 指标:
  - 类型: 准确率值: 48.032
  - 类型: F1分数值: 47.4490665674719
- 任务: 类型: 检索数据集: 类型: arguana 名称: MTEB ArguAna 配置: 默认分割: 测试修订: 无指标:
  - 类型: 平均精度@1 值: 30.725
  - 类型: 平均精度@10 值: 46.604
  - 类型: 平均精度@100 值: 47.535
  - 类型: 平均精度@1000 值: 47.538000000000004
  - 类型: 平均精度@3 值: 41.833
  - 类型: 平均精度@5 值: 44.61
  - 类型: 平均倒数排名@1 值: 31.223
  - 类型: 平均倒数排名@10 值: 46.794000000000004
  - 类型: 平均倒数排名@100 值: 47.725
  - 类型: 平均倒数排名@1000 值: 47.727000000000004
  - 类型: 平均倒数排名@3 值: 42.07
  - 类型: 平均倒数排名@5 值: 44.812000000000005
  - 类型: 标准化折损累积增益@1 值: 30.725
  - 类型: 标准化折损累积增益@10 值: 55.440999999999995
  - 类型: 标准化折损累积增益@100 值: 59.134
  - 类型: 标准化折损累积增益@1000 值: 59.199
  - 类型: 标准化折损累积增益@3 值: 45.599000000000004
  - 类型: 标准化折损累积增益@5 值: 50.637
  - 类型: 精确率@1 值: 30.725
  - 类型: 精确率@10 值: 8.364
  - 类型: 精确率@100 值: 0.991
  - 类型: 精确率@1000 值: 0.1
  - 类型: 精确率@3 值: 18.848000000000003
  - 类型: 精确率@5 值: 13.77
  - 类型: 召回率@1 值: 30.725
  - 类型: 召回率@10 值: 83.64200000000001
  - 类型: 召回率@100 值: 99.14699999999999
  - 类型: 召回率@1000 值: 99.644
  - 类型: 召回率@3 值: 56.543
  - 类型: 召回率@5 值: 68.848
- 任务: 类型: 聚类数据集: 类型: mteb/arxiv-clustering-p2p 名称: MTEB ArxivClusteringP2P 配置: 默认分割: 测试修订: a122ad7f3f0291bf49cc6f4d32aa80929df69d5d 指标:
  - 类型: V度量值: 47.90178078197678
- 任务: 类型: 聚类数据集: 类型: mteb/arxiv-clustering-s2s 名称: MTEB ArxivClusteringS2S 配置: 默认分割: 测试修订: f910caf1a6075f7329cdf8c1a6135696f37dbd53 指标:
  - 类型: V度量值: 40.25728393431922
- 任务: 类型: 重排序数据集: 类型: mteb/askubuntudupquestions-reranking 名称: MTEB AskUbuntuDupQuestions 配置: 默认分割: 测试修订: 2000358ca161889fa9c082cb41daa8dcfb161a54 指标:
  - 类型: 平均精度值: 61.720297062897764
  - 类型: 平均倒数排名值: 75.24139295607439
- 任务: 类型: 语义文本相似度数据集: 类型: mteb/biosses-sts 名称: MTEB BIOSSES 配置: 默认分割: 测试修订: d3fb88f8f02e40887cd149695127462bbcf29b4a 指标:
  - 类型: 余弦相似度皮尔逊相关系数值: 89.43527309184616
  - 类型: 余弦相似度斯皮尔曼相关系数值: 88.17128615100206
  - 类型: 欧氏距离皮尔逊相关系数值: 87.89922623089282
  - 类型: 欧氏距离斯皮尔曼相关系数值: 87.96104039655451
  - 类型: 曼哈顿距离皮尔逊相关系数值: 87.9818290932077
  - 类型: 曼哈顿距离斯皮尔曼相关系数值: 88.00923426576885
- 任务: 类型: 分类数据集: 类型: mteb/banking77 名称: MTEB Banking77Classification 配置: 默认分割: 测试修订: 0fd18e25b25c072e09e0d92ab615fda904d66300 指标:
  - 类型: 准确率值: 84.0844155844156
  - 类型: F1分数值: 84.01485017302213
- 任务: 类型: 聚类数据集: 类型: mteb/biorxiv-clustering-p2p 名称: MTEB BiorxivClusteringP2P 配置: 默认分割: 测试修订: 65b79d1d13f80053f67aca9498d9402c2d9f1f40 指标:
  - 类型: V度量值: 38.36574769259432
- 任务: 类型: 聚类数据集: 类型: mteb/biorxiv-clustering-s2s 名称: MTEB BiorxivClusteringS2S 配置: 默认分割: 测试修订: 258694dd0231531bc1fd9de6ceb52a0853c6d908 指标:
  - 类型: V度量值: 35.4857033165287
- 任务: 类型: 检索数据集: 类型: BeIR/cqadupstack 名称: MTEB CQADupstackAndroidRetrieval 配置: 默认分割: 测试修订: 无指标:
  - 类型: 平均精度@1 值: 30.261
  - 类型: 平均精度@10 值: 42.419000000000004
  - 类型: 平均精度@100 值: 43.927
  - 类型: 平均精度@1000 值: 44.055
  - 类型: 平均精度@3 值: 38.597
  - 类型: 平均精度@5 值: 40.701
  - 类型: 平均倒数排名@1 值: 36.91
  - 类型: 平均倒数排名@10 值: 48.02
  - 类型: 平均倒数排名@100 值: 48.658
  - 类型: 平均倒数排名@1000 值: 48.708
  - 类型: 平均倒数排名@3 值: 44.945
  - 类型: 平均倒数排名@5 值: 46.705000000000005
  - 类型: 标准化折损累积增益@1 值: 36.91
  - 类型: 标准化折损累积增益@10 值: 49.353
  - 类型: 标准化折损累积增益@100 值: 54.456
  - 类型: 标准化折损累积增益@1000 值: 56.363
  - 类型: 标准化折损累积增益@3 值: 43.483
  - 类型: 标准化折损累积增益@5 值: 46.150999999999996
  - 类型: 精确率@1 值: 36.91
  - 类型: 精确率@10 值: 9.700000000000001
  - 类型: 精确率@100 值: 1.557
  - 类型: 精确率@1000 值: 0.202
  - 类型: 精确率@3 值: 21.078
  - 类型: 精确率@5 值: 15.421999999999999
  - 类型: 召回率@1 值: 30.261
  - 类型: 召回率@10 值: 63.242
  - 类型: 召回率@100 值: 84.09100000000001
  - 类型: 召回率@1000 值: 96.143
  - 类型: 召回率@3 值: 46.478
  - 类型: 召回率@5 值: 53.708
- 任务: 类型: 检索数据集: 类型: BeIR/cqadupstack 名称: MTEB CQADupstackEnglishRetrieval 配置: 默认分割: 测试修订: 无指标:
  - 类型: 平均精度@1 值: 31.145
  - 类型: 平均精度@10 值: 40.996
  - 类型: 平均精度@100 值: 42.266999999999996
  - 类型: 平均精度@1000 值: 42.397
  - 类型: 平均精度@3 值: 38.005
  - 类型: 平均精度@5 值: 39.628
  - 类型: 平均倒数排名@1 值: 38.344
  - 类型: 平均倒数排名@10 值: 46.827000000000005
  - 类型: 平均倒数排名@100 值: 47.446
  - 类型: 平均倒数排名@1000 值: 47.489
  - 类型: