Giga Embeddings Instruct

由 ai-sage 开发

Giga Embeddings Instruct 是一个高性能的嵌入模型，专注于文本分类和检索任务，在多个基准测试中表现出色。

文本嵌入

Safetensors

支持多种语言

开源协议:MIT #高精度文本分类 #电商评论分析 #多指标评估

下载量 11.97k

发布时间 : 12/11/2024

模型介绍

内容详情

替代品

模型简介

该模型主要用于文本嵌入和分类任务，能够高效处理亚马逊产品评论等文本数据，支持多种语言和复杂查询场景。

模型特点

高准确率分类

在亚马逊反事实分类任务中达到94.5%的准确率

强大检索能力

在ArguAna检索任务中表现出色，支持复杂查询场景

多指标优化

同时优化准确率、F1分数和平均精度等多个性能指标

模型能力

文本分类

信息检索

情感分析

文本嵌入

使用案例

电子商务

产品评论分类

对亚马逊产品评论进行正负面分类

在亚马逊极性分类任务中达到94.3%的准确率

反事实评论检测

识别亚马逊平台上的反事实评论

在en-ext配置下达到94.5%的准确率

信息检索

论点检索

在ArguAna数据集上进行论点相关性检索

前10位NDCG达到53.23

模型索引：

名称：giga-embeddings-instruct 结果：
- 数据集：配置：en-ext 名称：MTEB亚马逊反事实分类（en-ext）版本：e8379541af4e31359cca9fbcf4b00f2671dba205 分割：测试类型：mteb/amazon_counterfactual 指标：
  - 类型：准确率值：94.5352323838081
  - 类型：平均精度值：62.422648408367344
  - 类型：加权平均精度值：62.422648408367344
  - 类型：F1分数值：87.13103677336655
  - 类型：加权F1分数值：94.85637995412655
  - 类型：主要得分值：94.5352323838081 任务：类型：分类
- 数据集：配置：en 名称：MTEB亚马逊反事实分类（en）版本：e8379541af4e31359cca9fbcf4b00f2671dba205 分割：测试类型：mteb/amazon_counterfactual 指标：
  - 类型：准确率值：90.31343283582089
  - 类型：平均精度值：63.42364739316405
  - 类型：加权平均精度值：63.42364739316405
  - 类型：F1分数值：85.54214552412623
  - 类型：加权F1分数值：90.59539168268289
  - 类型：主要得分值：90.31343283582089 任务：类型：分类
- 数据集：配置：默认名称：MTEB亚马逊极性分类（默认）版本：e2d317d38cd51312af73b3d32a06d1a08b442046 分割：测试类型：mteb/amazon_polarity 指标：
  - 类型：准确率值：94.29605000000001
  - 类型：平均精度值：91.30887530384256
  - 类型：加权平均精度值：91.30887530384256
  - 类型：F1分数值：94.29070662237378
  - 类型：加权F1分数值：94.29070662237378
  - 类型：主要得分值：94.29605000000001 任务：类型：分类
- 数据集：配置：默认名称：MTEB ArguAna（默认）版本：c22ab2a51041ffd869aaddef7af8d8215647e41a 分割：测试类型：mteb/arguana 指标：
  - 类型：主要得分值：53.227999999999994
  - 类型：前1位平均精度值：27.595999999999997
  - 类型：前10位平均精度值：43.756
  - 类型：前100位平均精度值：44.674
  - 类型：前1000位平均精度值：44.675
  - 类型：前20位平均精度值：44.511
  - 类型：前3位平均精度值：38.312000000000005
  - 类型：前5位平均精度值：41.271
  - 类型：前1位平均倒数排名值：27.951635846372692
  - 类型：前10位平均倒数排名值：43.8683138025244
  - 类型：前100位平均倒数排名值：44.79916793634115
  - 类型：前1000位平均倒数排名值：44.800641832434614
  - 类型：前20位平均倒数排名值：44.63636850959653
  - 类型：前3位平均倒数排名值：38.383119962067305
  - 类型：前5位平均倒数排名值：41.41299193930774
  - 类型：NAUC前1000位平均精度差异1 值：6.936710279308449
  - 类型：NAUC前1000位平均精度最大值值：-16.426102328143827
  - 类型：NAUC前1000位平均精度标准差值：-18.408713623781154
  - 类型：NAUC前100位平均精度差异1 值：6.936900325690782
  - 类型：NAUC前100位平均精度最大值值：-16.424599448813982
  - 类型：NAUC前100位平均精度标准差值：-18.41002427519262
  - 类型：NAUC前10位平均精度差异1 值：6.686089466049945
  - 类型：NAUC前10位平均精度最大值值：-16.277854443721235
  - 类型：NAUC前10位平均精度标准差值：-18.533367246025183
  - 类型：NAUC前1位平均精度差异1 值：10.048892770421086
  - 类型：NAUC前1位平均精度最大值值：-18.88033774058785
  - 类型：NAUC前1位平均精度标准差值：-18.950654138263662
  - 类型：NAUC前20位平均精度差异1 值：6.896257398324564
  - 类型：NAUC前20位平均精度最大值值：-16.28720522758851
  - 类型：NAUC前20位平均精度标准差值：-18.463554340157874
  - 类型：NAUC前3位平均精度差异1 值：6.996349008138944
  - 类型：NAUC前3位平均精度最大值值：-16.895326699141894
  - 类型：NAUC前3位平均精度标准差值：-18.550696483491105
  - 类型：NAUC前5位平均精度差异1 值：6.652257808997529
  - 类型：NAUC前5位平均精度最大值值：-16.616340120756664
  - 类型：NAUC前5位平均精度标准差值：-18.750380766744815
  - 类型：NAUC前1000位平均倒数排名差异1 值：5.675242976111991
  - 类型：NAUC前1000位平均倒数排名最大值值：-16.992812047837067
  - 类型：NAUC前1000位平均倒数排名标准差值：-18.32929497132872
  - 类型：NAUC前100位平均倒数排名差异1 值：5.6754937777142835
  - 类型：NAUC前100位平均倒数排名最大值值：-16.991287123334946
  - 类型：NAUC前100位平均倒数排名标准差值：-18.330604638796043
  - 类型：NAUC前10位平均倒数排名差异1 值：5.392768177635316
  - 类型：NAUC前10位平均倒数排名最大值值：-16.891663162548255
  - 类型：NAUC前10位平均倒数排名标准差值：-18.471864534496945
  - 类型：NAUC前1位平均倒数排名差异1 值：8.923777873913467
  - 类型：NAUC前1位平均倒数排名最大值值：-18.81665268664494
  - 类型：NAUC前1位平均倒数排名标准差值：-18.819665466571674
  - 类型：NAUC前20位平均倒数排名差异1 值：5.641752338928701
  - 类型：NAUC前20位平均倒数排名最大值值：-16.85136568990159
  - 类型：NAUC前20位平均倒数排名标准差值：-18.384362648232546
  - 类型：NAUC前3位平均倒数排名差异1 值：5.524316132813568
  - 类型：NAUC前3位平均倒数排名最大值值：-17.723568343459988
  - 类型：NAUC前3位平均倒数排名标准差值：-18.372688451025656
  - 类型：NAUC前5位平均倒数排名差异1 值：5.414405183203325
  - 类型：NAUC前5位平均倒数排名最大值值：-17.288127460794154
  - 类型：NAUC前5位平均倒数排名标准差值：-18.71123050851349
  - 类型：NAUC前1000位归一化折损累积增益差异1 值：6.487802962417493
  - 类型：NAUC前1000位归一化折损累积增益最大值值：-15.76159401306176
  - 类型：NAUC前1000位归一化折损累积增益标准差值：-18.15838595665605
  - 类型：NAUC前100位归一化折损累积增益差异1 值：6.48323468898899
  - 类型：NAUC前100位归一化折损累积增益最大值值：-15.728467477722477
  - 类型：NAUC前100位归一化折损累积增益标准差值：-18.197384218078643
  - 类型：NAUC前10位归一化折损累积增益差异1 值：5.423448018411026
  - 类型：NAUC前10位归一化折损累积增益最大值值：-14.673502378215453
  - 类型：NAUC前10位归一化折损累积增益标准差值：-18.837931889895316
  - 类型：NAUC前1位归一化折损累积增益差异1 值：10.048892770421086
  - 类型：NAUC前1位归一化折损累积增益最大值值：-18.88033774058785
  - 类型：NAUC前1位归一化折损累积增益标准差值：-18.950654138263662
  - 类型：NAUC前20位归一化折损累积增益差异1 值：6.369954849420038
  - 类型：NAUC前20位归一化折损累积增益最大值值：-14.443991776264713
  - 类型：NAUC前20位归一化折损累积增益标准差值：-18.416264332865836
  - 类型：NAUC前3位归一化折损累积增益差异1 值：6.224331563078568
  - 类型：NAUC前3位归一化折损累积增益最大值值：-16.183370694913553
  - 类型：NAUC前3位归一化折损累积增益标准差值：-18.559481650690337
  - 类型：NAUC前5位归一化折损累积增益差异1 值：5.659342042143408
  - 类型：NAUC前5位归一化折损累积增益最大值值：-15.510631438356693
  - 类型：NAUC前5位归一化折损累积增益标准差值：-18.909647623269873
  - 类型：NAUC前1000位精确率差异1 值：-45.740924328524436
  - 类型：NAUC前1000位精确率最大值值：-4.436745319184523
  - 类型：NAUC前1000位精确率标准差值：57.94428979357973
  - 类型：NAUC前100位精确率差异1 值：-23.751971897164438
  - 类型：NAUC前100位精确率最大值值：0.5109176204949021
  - 类型：NAUC前100位精确率标准差值：14.133130213074722
  - 类型：NAUC前10位精确率差异1 值：-2.2741922400170953
  - 类型：NAUC前10位精确率最大值值：-4.695134136659869
  - 类型：NAUC前10位精确率标准差值：-21.566024184206757
  - 类型：NAUC前1位精确率差异1 值：10.048892770421086
  - 类型：NAUC前1位精确率最大值值：-18.88033774058785
  - 类型：NAUC前1位精确率标准差值：-18.950654138263662
  - 类型：NAUC前20位精确率差异1 值：2.366832261816588
  - 类型：NAUC前20位精确率最大值值：17.078759245976265
  - 类型：NAUC前20位精确率标准差值：-17.573684824976628
  - 类型：NAUC前3位精确率差异1 值：4.062538060385958
  - 类型：NAUC前3位精确率最大值值：-14.10949953336873
  - 类型：NAUC前3位精确率标准差值：-18.626114079282416
  - 类型：NAUC前5位精确率差异1 值：2.425834990396102
  - 类型：NAUC前5位精确率最大值值：-11.600278541101094
  - 类型：NAUC前5位精确率标准差值：-19.53326796179894
  - 类型：NAUC前1000位召回率差异1 值：-45.740924328527974
  - 类型：NAUC前1000位召回率最大值值：-4.4367453191877555
  - 类型：NAUC前1000位召回率标准差值：57.9442897935769
  - 类型：NAUC前100位召回率差异1 值：-23.751971897160466
  - 类型：NAUC前100位召回率最大值值：0.5109176204928446
  - 类型：NAUC前100位召回率标准差值：14.133130213071956
  - 类型：NAUC前10位召回率差异1 值：-2.2741922400170527
  - 类型：NAUC前10位召回率最大值值：-4.695134136659742
  - 类型：NAUC前10位召回率标准差值：-21.566024184206647
  - 类型：NAUC前1位召回率差异1 值：10.048892770421086
  - 类型：NAUC前1位召回率最大值值：-18.88033774058785
  - 类型：NAUC前1位召回率标准差值：-18.950654138263662
  - 类型：NAUC前20位召回率差异1 值：2.366832261816872
  - 类型：NAUC前20位召回率最大值值：17.078759245976432
  - 类型：NAUC前20位召回率标准差值：-17.57368482497646
  - 类型：NAUC前3位召回率差异1 值：4.0625380603860055
  - 类型：NAUC前3位召回率最大值值：-14.10949953336872
  - 类型：NAUC前3位召回率标准差值：-18.626114079282395
  - 类型：NAUC前5位召回率差异1 值：2.425834990396135
  - 类型：NAUC前5位召回率最大值值：-11.60027854110106
  - 类型：NAUC前5位召回率标准差值：-19.533267961798924
  - 类型：前1位归一化折损累积增益值：27.595999999999997
  - 类型：前10位归一化折损累积增益值：53.227999999999994
  - 类型：前100位归一化折损累积增益值：56.931
  - 类型：前1000位归一化折损累积增益值：56.967999999999996
  - 类型：前20位归一化折损累积增益值：55.921
  - 类型：前3位归一化折损累积增益值：41.908
  - 类型：前5位归一化折损累积增益值：47.285
  - 类型：前1位精确率值：27.595999999999997