Gte Qwen2 7B Instruct GGUF

由 mav23 开发

基于Qwen2架构的7B参数规模指令微调模型，专注于句子相似度计算和文本嵌入任务

大型语言模型开源协议:Apache-2.0 #多任务文本嵌入 #高准确率分类 #跨领域检索

下载量 118

发布时间 : 10/10/2024

模型介绍

内容详情

替代品

模型简介

该模型是基于Qwen2架构开发的7B参数规模的指令微调模型，主要用于句子相似度计算、文本嵌入和检索任务。在MTEB基准测试中表现出色，支持多种自然语言处理任务。

模型特点

多任务性能优异

在MTEB基准测试的多种任务中表现优异，包括分类、聚类、检索等

大规模参数

7B参数规模提供了强大的语义理解能力

指令微调优化

经过指令微调，特别适合处理结构化任务

模型能力

句子相似度计算

文本分类

文本聚类

信息检索

搜索结果重排序

语义文本相似度评估

使用案例

电子商务

商品评论情感分析

分析亚马逊商品评论的情感倾向

在AmazonPolarity分类任务中达到97.5%准确率

反事实评论检测

识别亚马逊平台上的反事实评论

在AmazonCounterfactual分类任务中达到91.3%准确率

客户服务

银行业务分类

对银行客户咨询进行自动分类

在Banking77分类任务中达到87.6%准确率

学术研究

论文聚类

对arXiv和biorxiv论文进行主题聚类

在ArxivClusteringP2P任务中获得56.46 V-measure

问答系统

技术问答检索

在技术论坛中检索相似问题

在AskUbuntuDupQuestions重排序任务中达到67.58 MAP

标签:

mteb
sentence-transformers
transformers
Qwen2
句子相似度许可证: apache-2.0 模型索引:
名称: gte-qwen2-7B-instruct 结果:
- 任务: 类型: 分类数据集: 类型: mteb/amazon_counterfactual 名称: MTEB AmazonCounterfactualClassification (en) 配置: en 分割: 测试修订: e8379541af4e31359cca9fbcf4b00f2671dba205 指标:
  - 类型: 准确率值: 91.31343283582089
  - 类型: 平均精度值: 67.64251402604096
  - 类型: F1分数值: 87.53372530755692
- 任务: 类型: 分类数据集: 类型: mteb/amazon_polarity 名称: MTEB AmazonPolarityClassification 配置: 默认分割: 测试修订: e2d317d38cd51312af73b3d32a06d1a08b442046 指标:
  - 类型: 准确率值: 97.497825
  - 类型: 平均精度值: 96.30329547047529
  - 类型: F1分数值: 97.49769793778039
- 任务: 类型: 分类数据集: 类型: mteb/amazon_reviews_multi 名称: MTEB AmazonReviewsClassification (en) 配置: en 分割: 测试修订: 1399c76144fd37290681b995c656ef9b2e06e26d 指标:
  - 类型: 准确率值: 62.564
  - 类型: F1分数值: 60.975777935041066
- 任务: 类型: 检索数据集: 类型: mteb/arguana 名称: MTEB ArguAna 配置: 默认分割: 测试修订: c22ab2a51041ffd869aaddef7af8d8215647e41a 指标:
  - 类型: 平均精度@1 值: 36.486000000000004
  - 类型: 平均精度@10 值: 54.842
  - 类型: 平均精度@100 值: 55.206999999999994
  - 类型: 平均精度@1000 值: 55.206999999999994
  - 类型: 平均精度@3 值: 49.893
  - 类型: 平均精度@5 值: 53.105000000000004
  - 类型: 平均倒数排名@1 值: 37.34
  - 类型: 平均倒数排名@10 值: 55.143
  - 类型: 平均倒数排名@100 值: 55.509
  - 类型: 平均倒数排名@1000 值: 55.509
  - 类型: 平均倒数排名@3 值: 50.212999999999994
  - 类型: 平均倒数排名@5 值: 53.432
  - 类型: 归一化折损累积增益@1 值: 36.486000000000004
  - 类型: 归一化折损累积增益@10 值: 64.273
  - 类型: 归一化折损累积增益@100 值: 65.66199999999999
  - 类型: 归一化折损累积增益@1000 值: 65.66199999999999
  - 类型: 归一化折损累积增益@3 值: 54.352999999999994
  - 类型: 归一化折损累积增益@5 值: 60.131
  - 类型: 精确率@1 值: 36.486000000000004
  - 类型: 精确率@10 值: 9.395000000000001
  - 类型: 精确率@100 值: 0.996
  - 类型: 精确率@1000 值: 0.1
  - 类型: 精确率@3 值: 22.428
  - 类型: 精确率@5 值: 16.259
  - 类型: 召回率@1 值: 36.486000000000004
  - 类型: 召回率@10 值: 93.95400000000001
  - 类型: 召回率@100 值: 99.644
  - 类型: 召回率@1000 值: 99.644
  - 类型: 召回率@3 值: 67.283
  - 类型: 召回率@5 值: 81.294
- 任务: 类型: 聚类数据集: 类型: mteb/arxiv-clustering-p2p 名称: MTEB ArxivClusteringP2P 配置: 默认分割: 测试修订: a122ad7f3f0291bf49cc6f4d32aa80929df69d5d 指标:
  - 类型: V度量值: 56.461169803700564
- 任务: 类型: 聚类数据集: 类型: mteb/arxiv-clustering-s2s 名称: MTEB ArxivClusteringS2S 配置: 默认分割: 测试修订: f910caf1a6075f7329cdf8c1a6135696f37dbd53 指标:
  - 类型: V度量值: 51.73600434466286
- 任务: 类型: 重排序数据集: 类型: mteb/askubuntudupquestions-reranking 名称: MTEB AskUbuntuDupQuestions 配置: 默认分割: 测试修订: 2000358ca161889fa9c082cb41daa8dcfb161a54 指标:
  - 类型: 平均精度值: 67.57827065898053
  - 类型: 平均倒数排名值: 79.08136569493911
- 任务: 类型: 语义文本相似度数据集: 类型: mteb/biosses-sts 名称: MTEB BIOSSES 配置: 默认分割: 测试修订: d3fb88f8f02e40887cd149695127462bbcf29b4a 指标:
  - 类型: 余弦相似度皮尔逊相关系数值: 83.53324575999243
  - 类型: 余弦相似度斯皮尔曼相关系数值: 81.37173362822374
  - 类型: 欧氏距离皮尔逊相关系数值: 82.19243335103444
  - 类型: 欧氏距离斯皮尔曼相关系数值: 81.33679307304334
  - 类型: 曼哈顿距离皮尔逊相关系数值: 82.38752665975699
  - 类型: 曼哈顿距离斯皮尔曼相关系数值: 81.31510583189689
- 任务: 类型: 分类数据集: 类型: mteb/banking77 名称: MTEB Banking77Classification 配置: 默认分割: 测试修订: 0fd18e25b25c072e09e0d92ab615fda904d66300 指标:
  - 类型: 准确率值: 87.56818181818181
  - 类型: F1分数值: 87.25826722019875
- 任务: 类型: 聚类数据集: 类型: mteb/biorxiv-clustering-p2p 名称: MTEB BiorxivClusteringP2P 配置: 默认分割: 测试修订: 65b79d1d13f80053f67aca9498d9402c2d9f1f40 指标:
  - 类型: V度量值: 50.09239610327673
- 任务: 类型: 聚类数据集: 类型: mteb/biorxiv-clustering-s2s 名称: MTEB BiorxivClusteringS2S 配置: 默认分割: 测试修订: 258694dd0231531bc1fd9de6ceb52a0853c6d908 指标:
  - 类型: V度量值: 46.64733054606282
- 任务: 类型: 检索数据集: 类型: BeIR/cqadupstack 名称: MTEB CQADupstackAndroidRetrieval 配置: 默认分割: 测试修订: f46a197baaae43b4f621051089b82a364682dfeb 指标:
  - 类型: 平均精度@1 值: 33.997
  - 类型: 平均精度@10 值: 48.176
  - 类型: 平均精度@100 值: 49.82
  - 类型: 平均精度@1000 值: 49.924
  - 类型: 平均精度@3 值: 43.626
  - 类型: 平均精度@5 值: 46.275
  - 类型: 平均倒数排名@1 值: 42.059999999999995
  - 类型: 平均倒数排名@10 值: 53.726
  - 类型: 平均倒数排名@100 值: 54.398
  - 类型: 平均倒数排名@1000 值: 54.416
  - 类型: 平均倒数排名@3 值: 50.714999999999996
  - 类型: 平均倒数排名@5 值: 52.639
  - 类型: 归一化折损累积增益@1 值: 42.059999999999995
  - 类型: 归一化折损累积增益@10 值: 55.574999999999996
  - 类型: 归一化折损累积增益@100 值: 60.744
  - 类型: 归一化折损累积增益@1000 值: 61.85699999999999
  - 类型: 归一化折损累积增益@3 值: 49.363
  - 类型: 归一化折损累积增益@5 值: 52.44
  - 类型: 精确率@1 值: 42.059999999999995
  - 类型: 精确率@10 值: 11.101999999999999
  - 类型: 精确率@100 值: 1.73
  - 类型: 精确率@1000 值: 0.218
  - 类型: 精确率@3 值: 24.464
  - 类型: 精确率@5 值: 18.026
  - 类型: 召回率@1 值: 33.997
  - 类型: 召回率@10 值: 70.35900000000001
  - 类型: 召回率@100 值: 91.642
  - 类型: 召回率@1000 值: 97.977
  - 类型: 召回率@3 值: 52.76
  - 类型: 召回率@5 值: 61.148
- 任务: 类型: 检索数据集: 类型: BeIR/cqadupstack 名称: MTEB CQADupstackEnglishRetrieval 配置: 默认分割: 测试修订: ad9991cb51e31e31e430383c75ffb2885547b5f0 指标:
  - 类型: 平均精度@1 值: 35.884
  - 类型: 平均精度@10 值: 48.14
  - 类型: 平均精度@100 值: 49.5
  - 类型: 平均精度@1000 值: 49.63
  - 类型: 平均精度@3 值: 44