Gte Qwen2 1.5B Instruct GGUF

由 mav23 开发

基于Qwen2架构的7B参数规模句子嵌入模型，专注于句子相似度任务，在MTEB基准测试中表现优异。

大型语言模型开源协议:Apache-2.0 #高精度文本分类 #多任务句子嵌入 #电商评论分析

下载量 169

发布时间 : 10/11/2024

模型介绍

内容详情

替代品

模型简介

该模型是一个基于Qwen2架构的句子嵌入模型，主要用于计算句子相似度。它在多个MTEB基准测试任务中展现了强大的性能，包括分类、聚类、检索和重新排序等任务。

模型特点

强大的句子嵌入能力

在MTEB多个基准测试中表现优异，能够生成高质量的句子嵌入表示。

多任务支持

支持分类、聚类、检索和重新排序等多种自然语言处理任务。

大规模参数

7B参数规模提供了强大的表示学习能力。

模型能力

句子相似度计算

文本分类

文本聚类

信息检索

重新排序

使用案例

电子商务

产品评论分类

对亚马逊产品评论进行情感分类

在AmazonPolarityClassification任务中达到96.61%准确率

反事实评论检测

识别亚马逊上的反事实评论

在AmazonCounterfactualClassification任务中达到83.99%准确率

金融

银行客服问题分类

对银行客户问题进行自动分类

在Banking77Classification任务中达到87.31%准确率

学术研究

论文聚类

对arXiv和biorxiv论文进行主题聚类

在ArxivClusteringP2P任务中V度量达到50.51

标签:

mteb
sentence-transformers
transformers
Qwen2
句子相似度许可证: apache-2.0 模型索引:
名称: gte-qwen2-7B-instruct 结果:
- 数据集: 配置: en 名称: MTEB AmazonCounterfactualClassification (en) 修订版本: e8379541af4e31359cca9fbcf4b00f2671dba205 拆分: 测试类型: mteb/amazon_counterfactual 指标:
  - 类型: 准确率值: 83.98507462686567
  - 类型: 平均精度值: 50.93015252587014
  - 类型: F1分数值: 78.50416599051215 任务: 类型: 分类
- 数据集: 配置: 默认名称: MTEB AmazonPolarityClassification 修订版本: e2d317d38cd51312af73b3d32a06d1a08b442046 拆分: 测试类型: mteb/amazon_polarity 指标:
  - 类型: 准确率值: 96.61065
  - 类型: 平均精度值: 94.89174052954196
  - 类型: F1分数值: 96.60942596940565 任务: 类型: 分类
- 数据集: 配置: en 名称: MTEB AmazonReviewsClassification (en) 修订版本: 1399c76144fd37290681b995c656ef9b2e06e26d 拆分: 测试类型: mteb/amazon_reviews_multi 指标:
  - 类型: 准确率值: 55.614000000000004
  - 类型: F1分数值: 54.90553480294904 任务: 类型: 分类
- 数据集: 配置: 默认名称: MTEB ArguAna 修订版本: c22ab2a51041ffd869aaddef7af8d8215647e41a 拆分: 测试类型: mteb/arguana 指标:
  - 类型: 平均精度@1 值: 45.164
  - 类型: 平均精度@10 值: 61.519
  - 类型: 平均精度@100 值: 61.769
  - 类型: 平均精度@1000 值: 61.769
  - 类型: 平均精度@3 值: 57.443999999999996
  - 类型: 平均精度@5 值: 60.058
  - 类型: 平均倒数排名@1 值: 46.088
  - 类型: 平均倒数排名@10 值: 61.861
  - 类型: 平均倒数排名@100 值: 62.117999999999995
  - 类型: 平均倒数排名@1000 值: 62.117999999999995
  - 类型: 平均倒数排名@3 值: 57.729
  - 类型: 平均倒数排名@5 值: 60.392
  - 类型: 归一化折损累积增益@1 值: 45.164
  - 类型: 归一化折损累积增益@10 值: 69.72
  - 类型: 归一化折损累积增益@100 值: 70.719
  - 类型: 归一化折损累积增益@1000 值: 70.719
  - 类型: 归一化折损累积增益@3 值: 61.517999999999994
  - 类型: 归一化折损累积增益@5 值: 66.247
  - 类型: 精确率@1 值: 45.164
  - 类型: 精确率@10 值: 9.545
  - 类型: 精确率@100 值: 0.996
  - 类型: 精确率@1000 值: 0.1
  - 类型: 精确率@3 值: 24.443
  - 类型: 精确率@5 值: 16.97
  - 类型: 召回率@1 值: 45.164
  - 类型: 召回率@10 值: 95.448
  - 类型: 召回率@100 值: 99.644
  - 类型: 召回率@1000 值: 99.644
  - 类型: 召回率@3 值: 73.329
  - 类型: 召回率@5 值: 84.851 任务: 类型: 检索
- 数据集: 配置: 默认名称: MTEB ArxivClusteringP2P 修订版本: a122ad7f3f0291bf49cc6f4d32aa80929df69d5d 拆分: 测试类型: mteb/arxiv-clustering-p2p 指标:
  - 类型: V度量值: 50.511868162026175 任务: 类型: 聚类
- 数据集: 配置: 默认名称: MTEB ArxivClusteringS2S 修订版本: f910caf1a6075f7329cdf8c1a6135696f37dbd53 拆分: 测试类型: mteb/arxiv-clustering-s2s 指标:
  - 类型: V度量值: 45.007803189284004 任务: 类型: 聚类
- 数据集: 配置: 默认名称: MTEB AskUbuntuDupQuestions 修订版本: 2000358ca161889fa9c082cb41daa8dcfb161a54 拆分: 测试类型: mteb/askubuntudupquestions-reranking 指标:
  - 类型: 平均精度值: 64.55292107723382
  - 类型: 平均倒数排名值: 77.66158818097877 任务: 类型: 重新排序
- 数据集: 配置: 默认名称: MTEB BIOSSES 修订版本: d3fb88f8f02e40887cd149695127462bbcf29b4a 拆分: 测试类型: mteb/biosses-sts 指标:
  - 类型: 余弦相似度皮尔逊值: 85.65459047085452
  - 类型: 余弦相似度斯皮尔曼值: 82.10729255710761
  - 类型: 欧几里得皮尔逊值: 82.78079159312476
  - 类型: 欧几里得斯皮尔曼值: 80.50002701880933
  - 类型: 曼哈顿皮尔逊值: 82.41372641383016
  - 类型: 曼哈顿斯皮尔曼值: 80.57412509272639 任务: 类型: STS
- 数据集: 配置: 默认名称: MTEB Banking77Classification 修订版本: 0fd18e25b25c072e09e0d92ab615fda904d66300 拆分: 测试类型: mteb/banking77 指标:
  - 类型: 准确率值: 87.30844155844156
  - 类型: F1分数值: 87.25307322443255 任务: 类型: 分类
- 数据集: 配置: 默认名称: MTEB BiorxivClusteringP2P 修订版本: 65b79d1d13f80053f67aca9498d9402c2d9f1f40 拆分: 测试类型: mteb/biorxiv-clustering-p2p 指标:
  - 类型: V度量值: 43.20754608934859 任务: 类型: 聚类
- 数据集: 配置: 默认名称: MTEB BiorxivClusteringS2S 修订版本: 258694dd0231531bc1fd9de6ceb52a0853c6d908 拆分: 测试类型: mteb/biorxiv-clustering-s2s 指标:
  - 类型: V度量值: 38.818037697335505 任务: 类型: 聚类
- 数据集: 配置: 默认名称: MTEB CQADupstackAndroidRetrieval 修订版本: f46a197baaae43b4f621051089b82a364682dfeb 拆分: 测试类型: BeIR/cqadupstack 指标:
  - 类型: 平均精度@1 值: 35.423
  - 类型: 平均精度@10 值: 47.198
  - 类型: 平均精度@100 值: 48.899
  - 类型: 平均精度@1000 值: 49.004
  - 类型: 平均精度@3 值: 43.114999999999995
  - 类型: 平均精度@5 值: 45.491
  - 类型: 平均倒数排名@1 值: 42.918
  - 类型: 平均倒数排名@10 值: 53.299
  - 类型: 平均倒数排名@100 值: 54.032000000000004
  - 类型: 平均倒数排名@1000 值: 54.055
  - 类型: 平均倒数排名@3 值: 50.453
  - 类型: 平均倒数排名@5 值: 52.205999999999996
  - 类型: 归一化折损累积增益@1 值: 42.918
  - 类型: 归一化折损累积增益@10 值: 53.98
  - 类型: 归一化折损累积增益@100 值: 59.57
  - 类型: 归一化折损累积增益@1000 值: 60.879000000000005
  - 类型: 归一化折损累积增益@3 值: 48.224000000000004
  - 类型: 归一化折损累积增益@5 值: 50.998
  - 类型: 精确率@1 值: 42.918
  - 类型: 精确率@10 值: 10.299999999999999
  - 类型: 精确率@100 值: 1.687
  - 类型: 精确率@1000 值: 0.211
  - 类型: 精确率@3 值: 22.842000000000002
  - 类型: 精确率@5 值: 16.681
  - 类型: 召回率@1 值: 35.423
  - 类型: 召回率@10 值: 66.824
  - 类型: 召回率@100 值: 89.564
  - 类型: 召回率@1000 值: 97.501
  - 类型: 召回率@3 值: 50.365
  - 类型: 召回率@5 值: 57.921 任务: 类型: 检索
- 数据集: 配置: 默认名称: MTEB CQADupstackEnglishRetrieval 修订版本: ad9991cb51e31e31e430383c75ffb2885547b5f0 拆分: 测试类型: BeIR/cqadupstack 指标:
  - 类型: 平均精度@1 值: 33.205
  - 类型: 平均精度@10 值: 44.859
  - 类型: 平均精度@100 值: 46.135
  - 类型: 平均精度@1000 值: 46.259
  - 类型: 平均精度@3 值: 41.839
  - 类型: 平均精度@5 值: 43.662
  - 类型: 平均倒数排名@1 值: 41.146
  - 类型: 平均