Gte Qwen1.5 7B Instruct

由 Alibaba-NLP 开发

基于Qwen1.5架构的7B参数规模句子嵌入模型，专注于句子相似度计算和多任务评估

文本嵌入

Transformers

开源协议:Apache-2.0 #句子相似度计算 #多任务文本嵌入 #高精度分类

下载量 253

发布时间 : 4/20/2024

模型介绍

内容详情

替代品

模型简介

该模型是一个基于Qwen1.5架构的句子嵌入模型，主要用于句子相似度计算和多种自然语言处理任务评估。它在MTEB基准测试中表现出色，支持多种分类、聚类和检索任务。

模型特点

多任务评估能力

在MTEB基准测试中表现优异，支持分类、聚类、检索等多种任务

高性能句子嵌入

能够生成高质量的句子嵌入表示，适用于相似度计算

大规模参数

7B参数规模提供强大的语义理解能力

模型能力

句子相似度计算

文本分类

文本聚类

信息检索

问答系统支持

语义搜索

使用案例

电子商务

产品评论分类

对亚马逊产品评论进行情感极性分类

准确率96.7%，F1分数96.69%

反事实评论检测

识别亚马逊平台上的反事实评论

准确率83.16%，F1分数77.53%

学术研究

论文聚类

对arXiv和biorxiv论文进行主题聚类

V-measure分别达到56.4和51.45

问答系统

重复问题识别

在AskUbuntu论坛中识别重复问题

平均精度66.0%，平均倒数排名78.95

标签:

mteb
sentence-transformers
transformers
Qwen
句子相似度许可证: apache-2.0 模型索引:
名称: gte-qwen1.5-7b 结果:
- 任务: 类型: 分类数据集: 类型: mteb/amazon_counterfactual 名称: MTEB AmazonCounterfactualClassification (en) 配置: en 分割: 测试修订: e8379541af4e31359cca9fbcf4b00f2671dba205 指标:
  - 类型: 准确率值: 83.16417910447761
  - 类型: 平均精度值: 49.37655308937739
  - 类型: F1分数值: 77.52987230462615
- 任务: 类型: 分类数据集: 类型: mteb/amazon_polarity 名称: MTEB AmazonPolarityClassification 配置: 默认分割: 测试修订: e2d317d38cd51312af73b3d32a06d1a08b442046 指标:
  - 类型: 准确率值: 96.6959
  - 类型: 平均精度值: 94.90885739242472
  - 类型: F1分数值: 96.69477648952649
- 任务: 类型: 分类数据集: 类型: mteb/amazon_reviews_multi 名称: MTEB AmazonReviewsClassification (en) 配置: en 分割: 测试修订: 1399c76144fd37290681b995c656ef9b2e06e26d 指标:
  - 类型: 准确率值: 62.168
  - 类型: F1分数值: 60.411431278343755
- 任务: 类型: 检索数据集: 类型: mteb/arguana 名称: MTEB ArguAna 配置: 默认分割: 测试修订: c22ab2a51041ffd869aaddef7af8d8215647e41a 指标:
  - 类型: 平均精度@1 值: 36.415
  - 类型: 平均精度@10 值: 53.505
  - 类型: 平均精度@100 值: 54.013
  - 类型: 平均精度@1000 值: 54.013
  - 类型: 平均精度@3 值: 48.459
  - 类型: 平均精度@5 值: 51.524
  - 类型: 平均倒数排名@1 值: 36.842000000000006
  - 类型: 平均倒数排名@10 值: 53.679
  - 类型: 平均倒数排名@100 值: 54.17999999999999
  - 类型: 平均倒数排名@1000 值: 54.17999999999999
  - 类型: 平均倒数排名@3 值: 48.613
  - 类型: 平均倒数排名@5 值: 51.696
  - 类型: 归一化折损累积增益@1 值: 36.415
  - 类型: 归一化折损累积增益@10 值: 62.644999999999996
  - 类型: 归一化折损累积增益@100 值: 64.60000000000001
  - 类型: 归一化折损累积增益@1000 值: 64.60000000000001
  - 类型: 归一化折损累积增益@3 值: 52.44799999999999
  - 类型: 归一化折损累积增益@5 值: 57.964000000000006
  - 类型: 精确率@1 值: 36.415
  - 类型: 精确率@10 值: 9.161
  - 类型: 精确率@100 值: 0.996
  - 类型: 精确率@1000 值: 0.1
  - 类型: 精确率@3 值: 21.337
  - 类型: 精确率@5 值: 15.476999999999999
  - 类型: 召回率@1 值: 36.415
  - 类型: 召回率@10 值: 91.607
  - 类型: 召回率@100 值: 99.644
  - 类型: 召回率@1000 值: 99.644
  - 类型: 召回率@3 值: 64.011
  - 类型: 召回率@5 值: 77.383
- 任务: 类型: 聚类数据集: 类型: mteb/arxiv-clustering-p2p 名称: MTEB ArxivClusteringP2P 配置: 默认分割: 测试修订: a122ad7f3f0291bf49cc6f4d32aa80929df69d5d 指标:
  - 类型: V度量值: 56.40183100758549
- 任务: 类型: 聚类数据集: 类型: mteb/arxiv-clustering-s2s 名称: MTEB ArxivClusteringS2S 配置: 默认分割: 测试修订: f910caf1a6075f7329cdf8c1a6135696f37dbd53 指标:
  - 类型: V度量值: 51.44814171373338
- 任务: 类型: 重排序数据集: 类型: mteb/askubuntudupquestions-reranking 名称: MTEB AskUbuntuDupQuestions 配置: 默认分割: 测试修订: 2000358ca161889fa9c082cb41daa8dcfb161a54 指标:
  - 类型: 平均精度值: 66.00208703259058
  - 类型: 平均倒数排名值: 78.95165545442553
- 任务: 类型: STS 数据集: 类型: mteb/biosses-sts 名称: MTEB BIOSSES 配置: 默认分割: 测试修订: d3fb88f8f02e40887cd149695127462bbcf29b4a 指标:
  - 类型: 余弦相似度皮尔逊值: 82.12591694410098
  - 类型: 余弦相似度斯皮尔曼值: 81.11570369802254
  - 类型: 欧几里得皮尔逊值: 80.91709076204458
  - 类型: 欧几里得斯皮尔曼值: 81.11570369802254
  - 类型: 曼哈顿皮尔逊值: 80.71719561024605
  - 类型: 曼哈顿斯皮尔曼值: 81.21510355327713
- 任务: 类型: 分类数据集: 类型: mteb/banking77 名称: MTEB Banking77Classification 配置: 默认分割: 测试修订: 0fd18e25b25c072e09e0d92ab615fda904d66300 指标:
  - 类型: 准确率值: 81.67857142857142
  - 类型: F1分数值: 80.84103272994895
- 任务: 类型: 聚类数据集: 类型: mteb/biorxiv-clustering-p2p 名称: MTEB BiorxivClusteringP2P 配置: 默认分割: 测试修订: 65b79d1d13f80053f67aca9498d9402c2d9f1f40 指标:
  - 类型: V度量值: 49.008657468552016
- 任务: 类型: 聚类数据集: 类型: mteb/biorxiv-clustering-s2s 名称: MTEB BiorxivClusteringS2S 配置: 默认分割: 测试修订: 258694dd0231531bc1fd9de6ceb52a0853c6d908 指标:
  - 类型: V度量值: 45.05901064421589
- 任务: 类型: 检索数据集: 类型: BeIR/cqadupstack 名称: MTEB CQADupstackAndroidRetrieval 配置: 默认分割: 测试修订: f46a197baaae43b4f621051089b82a364682dfeb 指标:
  - 类型: 平均精度@1 值: 32.694
  - 类型: 平均精度@10 值: 43.895
  - 类型: 平均精度@100 值: 45.797
  - 类型: 平均精度@1000 值: 45.922000000000004
  - 类型: 平均精度@3 值: 40.141
  - 类型: 平均精度@5 值: 42.077
  - 类型: 平均倒数排名@1 值: 40.2
  - 类型: 平均倒数排名@10 值: 50.11
  - 类型: 平均倒数排名@100 值: 51.101
  - 类型: 平均倒数排名@1000 值: 51.13100000000001
  - 类型: 平均倒数排名@3 值: 47.735
  - 类型: 平均倒数排名@5 值: 48.922
  - 类型: 归一化折损累积增益@1 值: 40.2
  - 类型: 归一化折损累积增益@10 值: 50.449999999999996
  - 类型: 归一化折损累积增益@100 值: 56.85
  - 类型: 归一化折损累积增益@1000 值: 58.345
  - 类型: 归一化折损累积增益@3 值: 45.261
  - 类型: 归一化折损累积增益@5 值: 47.298
  - 类型: 精确率@1 值: 40.2
  - 类型: 精确率@10 值: 9.742
  - 类型: 精确率@100 值: 1.6480000000000001
  - 类型: 精确率@1000 值: 0.214
  - 类型: 精确率@3 值: 21.841
  - 类型: 精确率@5 值: 15.68
  - 类型: 召回率@1 值: 32.694
  - 类型: 召回率@10 值: 62.751999999999995
  - 类型: 召回率@100 值: 88.619
  - 类型: 召回率@1000 值: 97.386
  - 类型: 召回率@3 值: 47.087
  - 类型: 召回率@5 值: 53.108999999999995
- 任务: 类型: 检索数据集: 类型: BeIR/cqadupstack 名称: MTEB CQADupstackEnglishRetrieval 配置: 默认分割: 测试修订: ad9991cb51e31e31e430383c75ffb2885547b5f0 指标:
  - 类型: 平均精度@1 值: 27.849
  - 类型: 平均精度@10 值: 37.938
  - 类型: 平均精度@100 值: 39.211
  - 类型: 平均精度@1000 值: 39.333
  - 类型: 平均精度@3 值: 35.314
  - 类型: 平均精度@5 值: 36.666
  - 类型: 平均倒数排名@1 值: 34.904