Gte Base Zh

由 thenlper 开发

gte-base-zh 是一个针对中文优化的通用文本嵌入模型，支持多种自然语言处理任务，包括语义相似度计算、文本分类、信息检索等。

文本嵌入

Safetensors

英语

开源协议:MIT #中文语义相似度 #金融文本匹配 #医疗问答重排序

下载量 22.03k

发布时间 : 11/8/2023

模型介绍

内容详情

替代品

模型简介

该模型专注于生成高质量的句子嵌入，适用于中文文本的语义理解和表示。它在多个中文基准测试中表现出色，特别擅长处理语义相似度和信息检索任务。

模型特点

多任务支持

支持多种自然语言处理任务，包括语义相似度计算、文本分类、信息检索等。

中文优化

专门针对中文文本进行优化，在多个中文基准测试中表现优异。

高效检索

在信息检索任务中表现出色，特别是在医疗领域的问题检索方面。

模型能力

语义文本相似度计算

文本分类

信息检索

文本聚类

重排序

使用案例

金融领域

金融问题匹配

用于匹配相似的金融问题，如AFQMC数据集中的任务

余弦相似度皮尔逊相关系数达到44.46

医疗领域

医疗问答检索

用于检索与医疗问题相关的答案

在CMedQAv1和CMedQAv2数据集上MAP分别达到86.79和87.20

电子商务

商品评论分类

对亚马逊中文商品评论进行分类

准确率达到45.82%

标签:

多语言文本嵌入基准(mteb)
句子相似度
句子转换器
句子嵌入模型

模型索引:

名称: gte-base-zh 结果:
- 任务: 类型: 语义文本相似度(STS) 数据集: 类型: 中文多任务评估基准(C-MTEB)/蚂蚁金融问题匹配数据集(AFQMC) 名称: MTEB AFQMC 配置: 默认拆分: 验证集版本: 无指标:
  - 类型: 余弦相似度皮尔逊相关系数值: 44.45621572456527
  - 类型: 余弦相似度斯皮尔曼等级相关系数值: 49.06500895667604
  - 类型: 欧氏距离皮尔逊相关系数值: 47.55002064096053
  - 类型: 欧氏距离斯皮尔曼等级相关系数值: 49.06500895667604
  - 类型: 曼哈顿距离皮尔逊相关系数值: 47.429900262366715
  - 类型: 曼哈顿距离斯皮尔曼等级相关系数值: 48.95704890278774
- 任务: 类型: 语义文本相似度(STS) 数据集: 类型: C-MTEB/ATEC 名称: MTEB ATEC 配置: 默认拆分: 测试集版本: 无指标:
  - 类型: 余弦相似度皮尔逊相关系数值: 44.31699346653116
  - 类型: 余弦相似度斯皮尔曼等级相关系数值: 50.83133156721432
  - 类型: 欧氏距离皮尔逊相关系数值: 51.36086517946001
  - 类型: 欧氏距离斯皮尔曼等级相关系数值: 50.83132818894256
  - 类型: 曼哈顿距离皮尔逊相关系数值: 51.255926461574084
  - 类型: 曼哈顿距离斯皮尔曼等级相关系数值: 50.73460147395406
- 任务: 类型: 文本分类数据集: 类型: mteb/多语言亚马逊评论分类名称: MTEB亚马逊评论分类(中文) 配置: 中文拆分: 测试集版本: 1399c76144fd37290681b995c656ef9b2e06e26d 指标:
  - 类型: 准确率值: 45.818000000000005
  - 类型: F1分数值: 43.998253644678144
- 任务: 类型: 语义文本相似度(STS) 数据集: 类型: C-MTEB/BQ 名称: MTEB BQ 配置: 默认拆分: 测试集版本: 无指标:
  - 类型: 余弦相似度皮尔逊相关系数值: 63.47477451918581
  - 类型: 余弦相似度斯皮尔曼等级相关系数值: 65.49832607366159
  - 类型: 欧氏距离皮尔逊相关系数值: 64.11399760832107
  - 类型: 欧氏距离斯皮尔曼等级相关系数值: 65.49832260877398
  - 类型: 曼哈顿距离皮尔逊相关系数值: 64.02541311484639
  - 类型: 曼哈顿距离斯皮尔曼等级相关系数值: 65.42436057501452
- 任务: 类型: 文本聚类数据集: 类型: C-MTEB/CLSClusteringP2P 名称: MTEB CLSClusteringP2P 配置: 默认拆分: 测试集版本: 无指标:
  - 类型: V度量值: 42.58046835435111
- 任务: 类型: 文本聚类数据集: 类型: C-MTEB/CLSClusteringS2S 名称: MTEB CLSClusteringS2S 配置: 默认拆分: 测试集版本: 无指标:
  - 类型: V度量值: 40.42134173217685
- 任务: 类型: 重排序数据集: 类型: C-MTEB/CMedQAv1-重排序名称: MTEB CMedQAv1 配置: 默认拆分: 测试集版本: 无指标:
  - 类型: 平均准确率(MAP) 值: 86.79079943923792
  - 类型: 平均倒数排名(MRR) 值: 88.81341269841269
- 任务: 类型: 重排序数据集: 类型: C-MTEB/CMedQAv2-重排序名称: MTEB CMedQAv2 配置: 默认拆分: 测试集版本: 无指标:
  - 类型: 平均准确率(MAP) 值: 87.20186031249037
  - 类型: 平均倒数排名(MRR) 值: 89.46551587301587
- 任务: 类型: 信息检索数据集: 类型: C-MTEB/Cmedqa检索名称: MTEB Cmedqa检索配置: 默认拆分: 开发集版本: 无指标:
  - 类型: 首位平均准确率(map@1) 值: 25.098
  - 类型: 前十平均准确率(map@10) 值: 37.759
  - 类型: 前百平均准确率(map@100) 值: 39.693
  - 类型: 前千平均准确率(map@1000) 值: 39.804
  - 类型: 前三位平均准确率(map@3) 值: 33.477000000000004
  - 类型: 前五位平均准确率(map@5) 值: 35.839
  - 类型: 首位平均倒数排名(mrr@1) 值: 38.06
  - 类型: 前十平均倒数排名(mrr@10) 值: 46.302
  - 类型: 前百平均倒数排名(mrr@100) 值: 47.370000000000005
  - 类型: 前千平均倒数排名(mrr@1000) 值: 47.412
  - 类型: 前三位平均倒数排名(mrr@3) 值: 43.702999999999996
  - 类型: 前五位平均倒数排名(mrr@5) 值: 45.213
  - 类型: 首位归一化折损累积增益(ndcg@1) 值: 38.06
  - 类型: 前十归一化折损累积增益(ndcg@10) 值: 44.375
  - 类型: 前百归一化折损累积增益(ndcg@100) 值: 51.849999999999994
  - 类型: 前千归一化折损累积增益(ndcg@1000) 值: 53.725
  - 类型: 前三位归一化折损累积增益(ndcg@3) 值: 38.97
  - 类型: 前五位归一化折损累积增益(ndcg@5) 值: 41.193000000000005
  - 类型: 首位精确率(precision@1) 值: 38.06
  - 类型: 前十精确率(precision@10) 值: 9.934999999999999
  - 类型: 前百精确率(precision@100) 值: 1.599
  - 类型: 前千精确率(precision@1000) 值: 0.183
  - 类型: 前三位精确率(precision@3) 值: 22.072
  - 类型: 前五位精确率(precision@5) 值: 16.089000000000002
  - 类型: 首位召回率(recall@1) 值: 25.098
  - 类型: 前十召回率(recall@10) 值: 55.264
  - 类型: 前百召回率(recall@100) 值: 85.939
  - 类型: 前千召回率(recall@1000) 值: 98.44800000000001
  - 类型: 前三位召回率(recall@3) 值: 39.122
  - 类型: 前五位召回率(recall@5) 值: 45.948
- 任务: 类型: 文本对分类数据集: 类型: C-MTEB/CMNLI 名称: MTEB 中文自然语言推理(CMNLI) 配置: 默认拆分: 验证集版本: 无指标:
  - 类型: 余弦相似度准确率值: 78.02766085387853
  - 类型: 余弦相似度平均精确率值: 85.59982802559004
  - 类型: 余弦相似度F1分数值: 79.57103418984921
  - 类型: 余弦相似度精确率值: 72.88465279128575
  - 类型: 余弦相似度召回率值: 87.60813654430676
  - 类型: 点积准确率值: 78.02766085387853
  - 类型: 点积平均精确率值: 85.59604477360719
  - 类型: 点积F1分数值: 79.57103418984921
  - 类型: 点积精确率值: 72.88465279128575
  - 类型: 点积召回率值: 87.60813654430676
  - 类型: 欧氏距离准确率值: 78.02766085387853
  - 类型: 欧氏距离平均精确率值: 85.59982802559004
  - 类型: 欧氏距离F1分数值: 79.57103418984921
  - 类型: 欧氏距离精确率值: 72.88465279128575
  - 类型: 欧氏距离召回率值: 87.60813654430676
  - 类型: 曼哈顿距离准确率值: 77.9795550210463
  - 类型: 曼哈顿距离平均精确率值: 85.58042267497707
  - 类型: 曼哈顿距离F1分数值: 79.40344001741781
  - 类型: 曼哈顿距离精确率值: 74.29211652067632
  - 类型: 曼哈顿距离召回率值: 85.27004909983633
  - 类型: 最高准确率值: 78.02766085387853
  - 类型: 最高平均精确率值: 85.59982802559004
  - 类型: 最高F1分数值: 79.57103418984921
- 任务: 类型: 信息检索数据集: 类型: C-MTEB/新冠疫情检索名称: MTEB 新冠疫情检索配置: 默认拆分: 开发集版本: 无指标:
  - 类型: 首位平均准确率(map@1) 值: 62.144
  - 类型: 前十平均准确率(map@10) 值: 71.589
  - 类型: 前百平均准确率(map@100) 值: 72.066
  - 类型: 前千平均准确率(map@1000) 值: 72.075
  - 类型: 前三位平均准确率(map@3) 值: 69.916
  - 类型: 前五位平均准确率(map@5) 值: 70.806
  - 类型: 首位平均倒数排名(mrr@1) 值: 62.275999999999996
  - 类型: 前十平均倒数排名(mrr@10) 值: 71.57
  - 类型: 前百平均倒数排名(mrr@100) 值: 72.048
  - 类型: 前千平均倒数排名(mrr@1000) 值: 72