Gte Base

由 thenlper 开发

GTE-Base 是一个通用的文本嵌入模型，专注于句子相似度和文本检索任务，在多个基准测试中表现良好。

文本嵌入

英语

开源协议:MIT #多任务文本嵌入 #高精度语义相似度 #跨领域文本分类

下载量 317.05k

发布时间 : 7/27/2023

模型介绍

内容详情

替代品

模型简介

GTE-Base 是一个基于 transformer 的句子嵌入模型，主要用于生成高质量的句子嵌入，适用于文本相似度计算、信息检索和文本分类等任务。

模型特点

多任务性能优异

在句子相似度、文本分类、聚类和检索等多种任务上表现均衡且优异

高质量句子嵌入

能够生成高质量的句子级嵌入表示，适用于各种下游NLP任务

广泛基准测试验证

在MTEB等多个标准基准测试集上进行了全面评估

模型能力

句子相似度计算

文本分类

文本聚类

信息检索

语义搜索

文本重排序

使用案例

电子商务

产品评论分类

对亚马逊产品评论进行情感极性分类

在AmazonPolarity数据集上达到91.77%准确率

反事实评论检测

识别亚马逊上的反事实评论

在AmazonCounterfactual数据集上达到74.18%准确率

客户服务

银行业务意图分类

对银行客户查询进行意图分类

在Banking77数据集上达到85.07%准确率

学术研究

论文聚类

对arXiv和biorxiv论文进行主题聚类

在ArxivClusteringP2P上v_measure达到48.60%

标签:

mteb
句子相似度
sentence-transformers
句子转换器模型索引:
名称: gte-base 结果:
- 任务: 类型: 分类数据集: 类型: mteb/amazon_counterfactual 名称: MTEB AmazonCounterfactualClassification (en) 配置: en 分割: 测试修订: e8379541af4e31359cca9fbcf4b00f2671dba205 指标:
  - 类型: 准确率值: 74.17910447761193
  - 类型: ap 值: 36.827146398068926
  - 类型: f1 值: 68.11292888046363
- 任务: 类型: 分类数据集: 类型: mteb/amazon_polarity 名称: MTEB AmazonPolarityClassification 配置: 默认分割: 测试修订: e2d317d38cd51312af73b3d32a06d1a08b442046 指标:
  - 类型: 准确率值: 91.77345000000001
  - 类型: ap 值: 88.33530426691347
  - 类型: f1 值: 91.76549906404642
- 任务: 类型: 分类数据集: 类型: mteb/amazon_reviews_multi 名称: MTEB AmazonReviewsClassification (en) 配置: en 分割: 测试修订: 1399c76144fd37290681b995c656ef9b2e06e26d 指标:
  - 类型: 准确率值: 48.964
  - 类型: f1 值: 48.22995586184998
- 任务: 类型: 检索数据集: 类型: arguana 名称: MTEB ArguAna 配置: 默认分割: 测试修订: 无指标:
  - 类型: map_at_1 值: 32.147999999999996
  - 类型: map_at_10 值: 48.253
  - 类型: map_at_100 值: 49.038
  - 类型: map_at_1000 值: 49.042
  - 类型: map_at_3 值: 43.433
  - 类型: map_at_5 值: 46.182
  - 类型: mrr_at_1 值: 32.717
  - 类型: mrr_at_10 值: 48.467
  - 类型: mrr_at_100 值: 49.252
  - 类型: mrr_at_1000 值: 49.254999999999995
  - 类型: mrr_at_3 值: 43.599
  - 类型: mrr_at_5 值: 46.408
  - 类型: ndcg_at_1 值: 32.147999999999996
  - 类型: ndcg_at_10 值: 57.12199999999999
  - 类型: ndcg_at_100 值: 60.316
  - 类型: ndcg_at_1000 值: 60.402
  - 类型: ndcg_at_3 值: 47.178
  - 类型: ndcg_at_5 值: 52.146
  - 类型: precision_at_1 值: 32.147999999999996
  - 类型: precision_at_10 值: 8.542
  - 类型: precision_at_100 值: 0.9900000000000001
  - 类型: precision_at_1000 值: 0.1
  - 类型: precision_at_3 值: 19.346
  - 类型: precision_at_5 值: 14.026
  - 类型: recall_at_1 值: 32.147999999999996
  - 类型: recall_at_10 值: 85.42
  - 类型: recall_at_100 值: 99.004
  - 类型: recall_at_1000 值: 99.644
  - 类型: recall_at_3 值: 58.037000000000006
  - 类型: recall_at_5 值: 70.128
- 任务: 类型: 聚类数据集: 类型: mteb/arxiv-clustering-p2p 名称: MTEB ArxivClusteringP2P 配置: 默认分割: 测试修订: a122ad7f3f0291bf49cc6f4d32aa80929df69d5d 指标:
  - 类型: v_measure 值: 48.59706013699614
- 任务: 类型: 聚类数据集: 类型: mteb/arxiv-clustering-s2s 名称: MTEB ArxivClusteringS2S 配置: 默认分割: 测试修订: f910caf1a6075f7329cdf8c1a6135696f37dbd53 指标:
  - 类型: v_measure 值: 43.01463593002057
- 任务: 类型: 重排序数据集: 类型: mteb/askubuntudupquestions-reranking 名称: MTEB AskUbuntuDupQuestions 配置: 默认分割: 测试修订: 2000358ca161889fa9c082cb41daa8dcfb161a54 指标:
  - 类型: map 值: 61.80250355752458
  - 类型: mrr 值: 74.79455216989844
- 任务: 类型: STS 数据集: 类型: mteb/biosses-sts 名称: MTEB BIOSSES 配置: 默认分割: 测试修订: d3fb88f8f02e40887cd149695127462bbcf29b4a 指标:
  - 类型: cos_sim_pearson 值: 89.87448576082345
  - 类型: cos_sim_spearman 值: 87.64235843637468
  - 类型: euclidean_pearson 值: 88.4901825511062
  - 类型: euclidean_spearman 值: 87.74537283182033
  - 类型: manhattan_pearson 值: 88.39040638362911
  - 类型: manhattan_spearman 值: 87.62669542888003
- 任务: 类型: 分类数据集: 类型: mteb/banking77 名称: MTEB Banking77Classification 配置: 默认分割: 测试修订: 0fd18e25b25c072e09e0d92ab615fda904d66300 指标:
  - 类型: 准确率值: 85.06818181818183
  - 类型: f1 值: 85.02524460098233
- 任务: 类型: 聚类数据集: 类型: mteb/biorxiv-clustering-p2p 名称: MTEB BiorxivClusteringP2P 配置: 默认分割: 测试修订: 65b79d1d13f80053f67aca9498d9402c2d9f1f40 指标:
  - 类型: v_measure 值: 38.20471092679967
- 任务: 类型: 聚类数据集: 类型: mteb/biorxiv-clustering-s2s 名称: MTEB BiorxivClusteringS2S 配置: 默认分割: 测试修订: 258694dd0231531bc1fd9de6ceb52a0853c6d908 指标:
  - 类型: v_measure 值: 36.58967592147641
- 任务: 类型: 检索数据集: 类型: BeIR/cqadupstack 名称: MTEB CQADupstackAndroidRetrieval 配置: 默认分割: 测试修订: 无指标:
  - 类型: map_at_1 值: 32.411
  - 类型: map_at_10 值: 45.162
  - 类型: map_at_100 值: 46.717
  - 类型: map_at_1000 值: 46.836
  - 类型: map_at_3 值: 41.428
  - 类型: map_at_5 值: 43.54
  - 类型: mrr_at_1 值: 39.914
  - 类型: mrr_at_10 值: 51.534
  - 类型: mrr_at_100 值: 52.185
  - 类型: mrr_at_1000 值: 52.22
  - 类型: mrr_at_3 值: 49.046
  - 类型: mrr_at_5 值: 50.548
  - 类型: ndcg_at_1 值: 39.914
  - 类型: ndcg_at_10 值: 52.235
  - 类型: ndcg_at_100 值: 57.4
  - 类型: ndcg_at_1000 值: 58.982
  - 类型: ndcg_at_3 值: 47.332
  - 类型: ndcg_at_5 值: 49.62
  - 类型: precision_at_1 值: 39.914
  - 类型: precision_at_10 值: 10.258000000000001
  - 类型: precision_at_100 值: 1.6219999999999999
  - 类型: precision_at_1000 值: 0.20500000000000002
  - 类型: precision_at_3 值: 23.462
  - 类型: precision_at_5 值: 16.71
  - 类型: recall_at_1 值: 32.411
  - 类型: recall_at_10 值: 65.408
  - 类型: recall_at_100 值: 87.248
  - 类型: recall_at_1000 值: 96.951
  - 类型: recall_at_3 值: 50.349999999999994
  - 类型: recall_at_5 值: 57.431
- 任务: 类型: 检索数据集: 类型: BeIR/cqadupstack 名称: MTEB CQADupstackEnglishRetrieval 配置: 默认分割: 测试修订: 无指标:
  - 类型: map_at_1 值: 31.911
  - 类型: map_at_10 值: 42.608000000000004
  - 类型: map_at_100 值: 43.948
  - 类型: map_at_1000 值: 44.089
  - 类型: map_at_3 值: 39.652
  - 类型: map_at_5 值: 41.236
  - 类型: mrr_at_1 值: 40.064
  - 类型: mrr_at_10 值: 48.916
  - 类型: mrr_at_100 值: 49.539
  - 类型: mrr_at_1000 值: 49.583
  - 类型: mrr_at_3 值: 46.741
  - 类型: mrr_at_5 值: 48.037
  - 类型: ndcg_at_1 值: 40.064
  - 类型: ndcg_at_10 值: 48.442
  - 类型: ndcg_at_100 值: 52.798
  - 类型: ndcg_at_1000 值: 54.871
  - 类型: ndcg_at_3 值: 44.528
  - 类型: ndcg_at_5 值: 46.