Bge Micro V2

由 TaylorAI 开发

bge_micro 是一个专注于句子相似度计算的轻量级模型，适用于多种自然语言处理任务。

文本嵌入

Transformers

开源协议:MIT #句子相似度计算 #多任务评估 #文本特征提取

下载量 248.53k

发布时间 : 10/11/2023

模型介绍

内容详情

替代品

模型简介

该模型主要用于句子相似度计算和特征提取，能够将输入的句子转换为高维向量表示，便于后续的相似度比较和分类任务。

模型特点

轻量级设计

模型体积小，适合资源有限的环境部署。

多任务支持

支持句子相似度计算、特征提取和分类等多种自然语言处理任务。

高性能

在多个标准数据集上表现出色，如MTEB评估集。

模型能力

句子相似度计算

特征提取

文本分类

信息检索

聚类分析

使用案例

电子商务

商品评论分类

对亚马逊商品评论进行情感分类

在MTEB AmazonPolarityClassification数据集上达到79.75%准确率

反事实评论检测

识别亚马逊平台上的反事实评论

在MTEB AmazonCounterfactualClassification数据集上达到67.76%准确率

金融服务

银行客服问题分类

对银行客户问题进行自动分类

在MTEB Banking77Classification数据集上达到81.17%准确率

学术研究

论文聚类

对arXiv和biorxiv论文进行主题聚类

在MTEB ArxivClusteringP2P数据集上V度量达到44.53

pipeline_tag: 句子相似度 tags:

句子转换器
特征提取
句子相似度
转换器
MTEB model-index:
name: bge_micro results:
- task: type: 分类 dataset: type: mteb/amazon_counterfactual name: MTEB AmazonCounterfactualClassification (en) config: en split: 测试集 revision: e8379541af4e31359cca9fbcf4b00f2671dba205 metrics:
  - type: 准确率 value: 67.76119402985074
  - type: 平均精度 value: 29.637849284211114
  - type: F1分数 value: 61.31181187111905
- task: type: 分类 dataset: type: mteb/amazon_polarity name: MTEB AmazonPolarityClassification config: 默认 split: 测试集 revision: e2d317d38cd51312af73b3d32a06d1a08b442046 metrics:
  - type: 准确率 value: 79.7547
  - type: 平均精度 value: 74.21401629809145
  - type: F1分数 value: 79.65319615433783
- task: type: 分类 dataset: type: mteb/amazon_reviews_multi name: MTEB AmazonReviewsClassification (en) config: en split: 测试集 revision: 1399c76144fd37290681b995c656ef9b2e06e26d metrics:
  - type: 准确率 value: 37.452000000000005
  - type: F1分数 value: 37.0245198854966
- task: type: 检索 dataset: type: arguana name: MTEB ArguAna config: 默认 split: 测试集 revision: 无 metrics:
  - type: 平均精度@1 value: 31.152
  - type: 平均精度@10 value: 46.702
  - type: 平均精度@100 value: 47.563
  - type: 平均精度@1000 value: 47.567
  - type: 平均精度@3 value: 42.058
  - type: 平均精度@5 value: 44.608
  - type: 平均倒数排名@1 value: 32.006
  - type: 平均倒数排名@10 value: 47.064
  - type: 平均倒数排名@100 value: 47.910000000000004
  - type: 平均倒数排名@1000 value: 47.915
  - type: 平均倒数排名@3 value: 42.283
  - type: 平均倒数排名@5 value: 44.968
  - type: 标准化折损累积增益@1 value: 31.152
  - type: 标准化折损累积增益@10 value: 55.308
  - type: 标准化折损累积增益@100 value: 58.965
  - type: 标准化折损累积增益@1000 value: 59.067
  - type: 标准化折损累积增益@3 value: 45.698
  - type: 标准化折损累积增益@5 value: 50.296
  - type: 精确率@1 value: 31.152
  - type: 精确率@10 value: 8.279
  - type: 精确率@100 value: 0.987
  - type: 精确率@1000 value: 0.1
  - type: 精确率@3 value: 18.753
  - type: 精确率@5 value: 13.485
  - type: 召回率@1 value: 31.152
  - type: 召回率@10 value: 82.788
  - type: 召回率@100 value: 98.72
  - type: 召回率@1000 value: 99.502
  - type: 召回率@3 value: 56.259
  - type: 召回率@5 value: 67.425
- task: type: 聚类 dataset: type: mteb/arxiv-clustering-p2p name: MTEB ArxivClusteringP2P config: 默认 split: 测试集 revision: a122ad7f3f0291bf49cc6f4d32aa80929df69d5d metrics:
  - type: V度量 value: 44.52692241938116
- task: type: 聚类 dataset: type: mteb/arxiv-clustering-s2s name: MTEB ArxivClusteringS2S config: 默认 split: 测试集 revision: f910caf1a6075f7329cdf8c1a6135696f37dbd53 metrics:
  - type: V度量 value: 33.245710292773595
- task: type: 重排序 dataset: type: mteb/askubuntudupquestions-reranking name: MTEB AskUbuntuDupQuestions config: 默认 split: 测试集 revision: 2000358ca161889fa9c082cb41daa8dcfb161a54 metrics:
  - type: 平均精度 value: 58.08493637155168
  - type: 平均倒数排名 value: 71.94378490084861
- task: type: 语义文本相似度 dataset: type: mteb/biosses-sts name: MTEB BIOSSES config: 默认 split: 测试集 revision: d3fb88f8f02e40887cd149695127462bbcf29b4a metrics:
  - type: 余弦相似度皮尔逊相关系数 value: 84.1602804378326
  - type: 余弦相似度斯皮尔曼相关系数 value: 82.92478106365587
  - type: 欧氏距离皮尔逊相关系数 value: 82.27930167277077
  - type: 欧氏距离斯皮尔曼相关系数 value: 82.18560759458093
  - type: 曼哈顿距离皮尔逊相关系数 value: 82.34277425888187
  - type: 曼哈顿距离斯皮尔曼相关系数 value: 81.72776583704467
- task: type: 分类 dataset: type: mteb/banking77 name: MTEB Banking77Classification config: 默认 split: 测试集 revision: 0fd18e25b25c072e09e0d92ab615fda904d66300 metrics:
  - type: 准确率 value: 81.17207792207792
  - type: F1分数 value: 81.09893836310513
- task: type: 聚类 dataset: type: mteb/biorxiv-clustering-p2p name: MTEB BiorxivClusteringP2P config: 默认 split: 测试集 revision: 65b79d1d13f80053f67aca9498d9402c2d9f1f40 metrics:
  - type: V度量 value: 36.109308463095516
- task: type: 聚类 dataset: type: mteb/biorxiv-clustering-s2s name: MTEB BiorxivClusteringS2S config: 默认 split: 测试集 revision: 258694dd0231531bc1fd9de6ceb52a0853c6d908 metrics:
  - type: V度量 value: 28.06048212317168
- task: type: 检索 dataset: type: BeIR/cqadupstack name: MTEB CQADupstackAndroidRetrieval config: 默认 split: 测试集 revision: 无 metrics:
  - type: 平均精度@1 value: 28.233999999999998
  - type: 平均精度@10 value: 38.092999999999996
  - type: 平均精度@100 value: 39.473
  - type: 平均精度@1000 value: 39.614
  - type: 平均精度@3 value: 34.839
  - type: 平均精度@5 value: 36.523
  - type: 平均倒数排名@1 value: 35.193000000000005
  - type: 平均倒数排名@10 value: 44.089
  - type: 平均倒数排名@100 value: 44.927
  - type: 平均倒数排名@1000 value: 44.988
  - type: 平均倒数排名@3 value: 41.559000000000005
  - type: 平均倒数排名@5 value: 43.162
  - type: 标准化折损累积增益@1 value: 35.193000000000005
  - type: 标准化折损累积增益@10 value: 44.04
  - type: 标准化折损累积增益@100 value: 49.262
  - type: 标准化折损累积增益@1000 value: 51.847
  - type: 标准化折损累积增益@3 value: 39.248
  - type: 标准化折损累积增益@5 value: 41.298
  - type: 精确率@1 value: 35.193000000000005
  - type: 精确率@10 value: 8.555
  - type: 精确率@100 value: 1.3820000000000001
  - type: 精确率@1000 value: 0.189
  - type: 精确率@3 value: 19.123
  - type: 精确率@5 value: 13.648
  - type: 召回率@1 value: 28.233999999999998
  - type: 召回率@10 value: 55.094
  - type: 召回率@100 value: 76.85300000000001
  - type: 召回率@1000 value: 94.163
  - type: 召回率@3 value: 40.782000000000004
  - type: 召回率@5 value: 46.796
- task: type: 检索 dataset: type: BeIR/cqadupstack name: MTEB CQADupstackEnglishRetrieval config: 默认 split: 测试集 revision: 无 metrics:
  - type: 平均精度@1 value: 21.538
  - type: 平均精度@10 value: 28.449
  - type: 平均精度@100 value: 29.471000000000004
  - type: 平均精度@1000 value: 29.599999999999998
  - type: 平均精度@3 value: 26.371
  - type: 平均精度@5 value: 27.58
  - type: 平均倒数排名@1 value: 26.815
  - type: 平均倒数排名@10 value: 33.331
  - type: 平均倒数排名@100 value: 34.114
  - type: 平均倒数排名@1000 value: 34.182
  - type: 平均倒数排名@3 value: 31.561
  - type: 平均倒数排名@5 value: 32.608
  - type: 标准化折损累积增益@1 value: 26.815
  - type: 标准化折损累积增益@10 value: 32.67
  - type: 标准化折损累积增益@100 value: 37.039