Piccolo Base Zh

由 sensenova 开发

Piccolo 是一个中文基础模型，专注于语义文本相似度(STS)、分类、聚类和检索等多种自然语言处理任务。

文本嵌入

Transformers

#中文语义相似度 #医疗问答重排序 #文本聚类分析

下载量 303

发布时间 : 9/4/2023

模型介绍

内容详情

替代品

模型简介

该模型在中文文本处理任务中表现出色，支持语义相似度计算、文本分类、聚类分析和信息检索等功能。

模型特点

多任务支持

能够处理多种自然语言处理任务，包括语义相似度计算、文本分类、聚类和信息检索。

中文优化

专门针对中文文本处理进行了优化，在多个中文NLP任务上表现良好。

高性能检索

在医疗问答检索任务中表现出色，map@1000达到37.576，recall@1000高达98.196%。

模型能力

语义文本相似度计算

文本分类

文本聚类

信息检索

问答重排序

使用案例

医疗问答

医疗问答检索

用于检索与医疗问题相关的答案

在CMedQA数据集上map@1000达到37.576

医疗问答重排序

对检索到的医疗问答结果进行相关性排序

在CMedQAv2数据集上mrr达到88.535

文本理解

语义相似度判断

判断两段中文文本的语义相似度

在AFQMC数据集上cos_sim_spearman达到51.405

文本分类

对中文文本进行分类

在AmazonReviews中文数据集上准确率达到40.236%

标签：

mteb 模型索引：
名称：piccolo-base-zh 结果：
- 任务：类型：STS 数据集：类型：C-MTEB/AFQMC 名称：MTEB AFQMC 配置：默认分割：验证修订：无指标：
  - 类型：cos_sim_pearson 值：49.16558217326158
  - 类型：cos_sim_spearman 值：51.4049475858823
  - 类型：euclidean_pearson 值：49.85853741070363
  - 类型：euclidean_spearman 值：51.501428092542234
  - 类型：manhattan_pearson 值：49.746099634926296
  - 类型：manhattan_spearman 值：51.41081804320127
- 任务：类型：STS 数据集：类型：C-MTEB/ATEC 名称：MTEB ATEC 配置：默认分割：测试修订：无指标：
  - 类型：cos_sim_pearson 值：52.385361699031854
  - 类型：cos_sim_spearman 值：52.59114913702212
  - 类型：euclidean_pearson 值：54.994530439418355
  - 类型：euclidean_spearman 值：52.54102886188004
  - 类型：manhattan_pearson 值：54.9503071669608
  - 类型：manhattan_spearman 值：52.51465652540901
- 任务：类型：分类数据集：类型：mteb/amazon_reviews_multi 名称：MTEB AmazonReviews分类（中文）配置：zh 分割：测试修订：1399c76144fd37290681b995c656ef9b2e06e26d 指标：
  - 类型：准确率值：40.236
  - 类型：f1 值：39.43040092463147
- 任务：类型：STS 数据集：类型：C-MTEB/BQ 名称：MTEB BQ 配置：默认分割：测试修订：无指标：
  - 类型：cos_sim_pearson 值：60.98952187211432
  - 类型：cos_sim_spearman 值：62.68189713123115
  - 类型：euclidean_pearson 值：61.089426749761344
  - 类型：euclidean_spearman 值：62.41743375544581
  - 类型：manhattan_pearson 值：61.14747216341409
  - 类型：manhattan_spearman 值：62.488918956547046
- 任务：类型：聚类数据集：类型：C-MTEB/CLSClusteringP2P 名称：MTEB CLSClusteringP2P 配置：默认分割：测试修订：无指标：
  - 类型：v_measure 值：38.36392300667918
- 任务：类型：聚类数据集：类型：C-MTEB/CLSClusteringS2S 名称：MTEB CLSClusteringS2S 配置：默认分割：测试修订：无指标：
  - 类型：v_measure 值：35.645927581489175
- 任务：类型：重排序数据集：类型：C-MTEB/CMedQAv1-重排序名称：MTEB CMedQAv1 配置：默认分割：测试修订：无指标：
  - 类型：map 值：85.25085782849087
  - 类型：mrr 值：87.77154761904762
- 任务：类型：重排序数据集：类型：C-MTEB/CMedQAv2-重排序名称：MTEB CMedQAv2 配置：默认分割：测试修订：无指标：
  - 类型：map 值：86.15357754080844
  - 类型：mrr 值：88.53547619047617
- 任务：类型：检索数据集：类型：C-MTEB/Cmedqa检索名称：MTEB Cmedqa检索配置：默认分割：开发修订：无指标：
  - 类型：map_at_1 值：23.683
  - 类型：map_at_10 值：35.522999999999996
  - 类型：map_at_100 值：37.456
  - 类型：map_at_1000 值：37.576
  - 类型：map_at_3 值：31.584
  - 类型：map_at_5 值：33.684999999999995
  - 类型：mrr_at_1 值：36.459
  - 类型：mrr_at_10 值：44.534
  - 类型：mrr_at_100 值：45.6
  - 类型：mrr_at_1000 值：45.647
  - 类型：mrr_at_3 值：42.186
  - 类型：mrr_at_5 值：43.482
  - 类型：ndcg_at_1 值：36.459
  - 类型：ndcg_at_10 值：42.025
  - 类型：ndcg_at_100 值：49.754
  - 类型：ndcg_at_1000 值：51.815999999999995
  - 类型：ndcg_at_3 值：37.056
  - 类型：ndcg_at_5 值：38.962
  - 类型：precision_at_1 值：36.459
  - 类型：precision_at_10 值：9.485000000000001
  - 类型：precision_at_100 值：1.567
  - 类型：precision_at_1000 值：0.183
  - 类型：precision_at_3 值：21.13
  - 类型：precision_at_5 值：15.209
  - 类型：recall_at_1 值：23.683
  - 类型：recall_at_10 值：52.190999999999995
  - 类型：recall_at_100 值：84.491
  - 类型：recall_at_1000 值：98.19600000000001
  - 类型：recall_at_3 值：37.09
  - 类型：recall_at_5 值：43.262
- 任务：类型：对分类数据集：类型：C-MTEB/CMNLI 名称：MTEB Cmnli 配置：默认分割：验证修订：无指标：
  - 类型：cos_sim_accuracy 值：74.20324714371618
  - 类型：cos_sim_ap 值：82.32631646194994
  - 类型：cos_sim_f1 值：76.64052827073876
  - 类型：cos_sim_precision 值：68.58725761772854
  - 类型：cos_sim_recall 值：86.83656768763151
  - 类型：dot_accuracy 值：70.33072760072159
  - 类型：dot_ap 值：77.46972172609794
  - 类型：dot_f1 值：73.6668924804026
  - 类型：dot_precision 值：62.84676354029062
  - 类型：dot_recall 值：88.98760813654431
  - 类型：euclidean_accuracy 值：74.78051713770296
  - 类型：euclidean_ap 值：82.65778389584023
  - 类型：euclidean_f1 值：77.1843623157445
  - 类型：euclidean_precision 值：71.05211406096362
  - 类型：euclidean_recall 值：84.47509936871639
  - 类型：manhattan_accuracy 值：74.76849067949489
  - 类型：manhattan_ap 值：82.55694030572194
  - 类型：manhattan_f1 值：77.1776459569154
  - 类型：manhattan_precision 值：69.5423855963991
  - 类型：manhattan_recall 值：86.69628244096329
  - 类型：max_accuracy 值：74.78051713770296
  - 类型：max_ap 值：82.65778389584023
  - 类型：max_f1 值：77.1843623157445
- 任务：类型：检索数据集：类型：C-MTEB/Covid检索名称：MTEB Covid检索配置：默认分割：开发修订：无指标：
  - 类型：map_at_1 值：72.99799999999999
  - 类型：map_at_10 值：81.271
  - 类型：map_at_100 值：81.53399999999999
  - 类型：map_at_1000 值：81.535
  - 类型：map_at_3 值：80.049
  - 类型：map_at_5 值：80.793
  - 类型：mrr_at_1 值：73.13
  - 类型：mrr_at_10 值：81.193
  - 类型：mrr_at_100 值：81.463
  - 类型：mrr_at_1000 值：81.464
  - 类型：mrr_at_3 值：80.067
  - 类型：mrr_at_5 值：80.741
  - 类型：ndcg_at_1 值：73.34
  - 类型：ndcg_at_10 值：84.503
  - 类型：ndcg_at_100 值：85.643
  - 类型：ndcg_at_1000 值：85.693
  - 类型：ndcg_at_3 值：82.135
  - 类型：ndcg_at_5 值：83.401
  - 类型：precision_at_1 值：73.34
  - 类型：precision_at_10 值：9.536
  - 类型：precision_at_100 值：1.004
  - 类型：precision_at_1000 值：0.101
  - 类型：precision_at_3 值：29.54
  - 类型：precision_at_5 值：18.398
  - 类型：recall_at_1 值：72.99799999999999
  - 类型：recall_at_10 值：94.31
  - 类型：recall_at_100 值：99.368
  - 类型：recall_at_1000 值：99.789
  - 类型：recall_at_3 值：87.935
  - 类型：recall_at_5 值：90.991
- 任务：类型：检索数据集：类型：C-MTEB/Du检索名称：MTEB Du检索配置：默认分割：开发修订：无指标：
  - 类型：map_at_1 值：26.537
  - 类型：map_at_10 值：81.292
  - 类型：map_at_100 值：84.031
  - 类型：map_at_1000 值：84.066
  - 类型：map_at_3 值：56.571000000000005
  - 类型：map_at_5 值：71.082
  - 类型：mrr_at_1 值：91.2
  - 类型：mrr_at_10 值：93.893
  - 类型：mrr_at_100 值：93.955