Stella Large Zh V3 1792d

由 dunzhang 开发

stella-large-zh-v3-1792d 是一个中文句子相似度计算模型，基于句子转换器架构，专门用于处理中文文本的语义相似度任务。

文本嵌入

PyTorch

#中文句子相似度 #医疗问答重排序 #高精度语义检索

下载量 862

发布时间 : 2/17/2024

模型介绍

内容详情

替代品

模型简介

该模型主要用于计算中文句子的语义相似度，支持多种相似度计算方式，包括余弦相似度、欧几里得距离和曼哈顿距离等。适用于文本匹配、信息检索和自然语言理解任务。

模型特点

多维度相似度计算

支持余弦相似度、欧几里得距离和曼哈顿距离等多种相似度计算方式。

高性能

在多个中文数据集上表现优异，特别是在C-MTEB/CMedQAv1和C-MTEB/CMedQAv2重排序任务中MAP值接近90。

广泛的任务支持

不仅支持句子相似度计算，还能应用于分类、聚类和检索等多种自然语言处理任务。

模型能力

句子相似度计算

文本分类

文本聚类

信息检索

重排序

使用案例

信息检索

医疗问答检索

在CMedQA数据集上用于检索相关医疗问答

MAP@10达到40.14，MRR@10达到48.93

文本匹配

金融问题匹配

在BQ数据集上用于金融问题的语义匹配

余弦相似度皮尔逊值达到69.12

文本分类

商品评论分类

在AmazonReviews中文数据集上进行评论分类

准确率达到46.32

流水线标签：句子相似度
标签：

句子转换器
特征提取
句子相似度
MTEB

模型索引：

名称：stella-large-zh-v3-1792d
结果：
- 任务：
  类型：STS
  数据集：
  类型：C-MTEB/AFQMC
  名称：MTEB AFQMC
  配置：默认
  分割：验证
  修订：无
  指标：
  - 类型：余弦相似度皮尔逊
    值：54.48093298255762
  - 类型：余弦相似度斯皮尔曼
    值：59.105354109068685
  - 类型：欧几里得皮尔逊
    值：57.761189988643444
  - 类型：欧几里得斯皮尔曼
    值：59.10537421115596
  - 类型：曼哈顿皮尔逊
    值：56.94359297051431
  - 类型：曼哈顿斯皮尔曼
    值：58.37611109821567
- 任务：
  类型：STS
  数据集：
  类型：C-MTEB/ATEC
  名称：MTEB ATEC
  配置：默认
  分割：测试
  修订：无
  指标：
  - 类型：余弦相似度皮尔逊
    值：54.39711127600595
  - 类型：余弦相似度斯皮尔曼
    值：58.190191920824454
  - 类型：欧几里得皮尔逊
    值：61.80082379352729
  - 类型：欧几里得斯皮尔曼
    值：58.19018966860797
  - 类型：曼哈顿皮尔逊
    值：60.927601060396206
  - 类型：曼哈顿斯皮尔曼
    值：57.78832902694192
- 任务：
  类型：分类
  数据集：
  类型：mteb/amazon_reviews_multi
  名称：MTEB AmazonReviews分类（中文）
  配置：中文
  分割：测试
  修订：1399c76144fd37290681b995c656ef9b2e06e26d
  指标：
  - 类型：准确率
    值：46.31600000000001
  - 类型：F1
    值：44.45281663598873
- 任务：
  类型：STS
  数据集：
  类型：C-MTEB/BQ
  名称：MTEB BQ
  配置：默认
  分割：测试
  修订：无
  指标：
  - 类型：余弦相似度皮尔逊
    值：69.12211326097868
  - 类型：余弦相似度斯皮尔曼
    值：71.0741302039443
  - 类型：欧几里得皮尔逊
    值：69.89070483887852
  - 类型：欧几里得斯皮尔曼
    值：71.07413020351787
  - 类型：曼哈顿皮尔逊
    值：69.62345441260962
  - 类型：曼哈顿斯皮尔曼
    值：70.8517591280618
- 任务：
  类型：聚类
  数据集：
  类型：C-MTEB/CLSClusteringP2P
  名称：MTEB CLSClusteringP2P
  配置：默认
  分割：测试
  修订：无
  指标：
  - 类型：V度量
    值：41.937723608805314
- 任务：
  类型：聚类
  数据集：
  类型：C-MTEB/CLSClusteringS2S
  名称：MTEB CLSClusteringS2S
  配置：默认
  分割：测试
  修订：无
  指标：
  - 类型：V度量
    值：40.34373057675427
- 任务：
  类型：重排序
  数据集：
  类型：C-MTEB/CMedQAv1-reranking
  名称：MTEB CMedQAv1
  配置：默认
  分割：测试
  修订：无
  指标：
  - 类型：MAP
    值：88.98896401788376
  - 类型：MRR
    值：90.97119047619047
- 任务：
  类型：重排序
  数据集：
  类型：C-MTEB/CMedQAv2-reranking
  名称：MTEB CMedQAv2
  配置：默认
  分割：测试
  修订：无
  指标：
  - 类型：MAP
    值：89.59718540244556
  - 类型：MRR
    值：91.41246031746032
- 任务：
  类型：检索
  数据集：
  类型：C-MTEB/CmedqaRetrieval
  名称：MTEB CmedqaRetrieval
  配置：默认
  分割：开发
  修订：无
  指标：
  - 类型：MAP@1
    值：26.954
  - 类型：MAP@10
    值：40.144999999999996
  - 类型：MAP@100
    值：42.083999999999996
  - 类型：MAP@1000
    值：42.181000000000004
  - 类型：MAP@3
    值：35.709
  - 类型：MAP@5
    值：38.141000000000005
  - 类型：MRR@1
    值：40.71
  - 类型：MRR@10
    值：48.93
  - 类型：MRR@100
    值：49.921
  - 类型：MRR@1000
    值：49.958999999999996
  - 类型：MRR@3
    值：46.32
  - 类型：MRR@5
    值：47.769
  - 类型：NDCG@1
    值：40.71
  - 类型：NDCG@10
    值：46.869
  - 类型：NDCG@100
    值：54.234
  - 类型：NDCG@1000
    值：55.854000000000006
  - 类型：NDCG@3
    值：41.339
  - 类型：NDCG@5
    值：43.594
  - 类型：精确率@1
    值：40.71
  - 类型：精确率@10
    值：10.408000000000001
  - 类型：精确率@100
    值：1.635
  - 类型：精确率@1000
    值：0.184
  - 类型：精确率@3
    值：23.348
  - 类型：精确率@5
    值：16.929
  - 类型：召回率@1
    值：26.954
  - 类型：召回率@10
    值：57.821999999999996
  - 类型：召回率@100
    值：88.08200000000001
  - 类型：召回率@1000
    值：98.83800000000001
  - 类型：召回率@3
    值：41.221999999999994
  - 类型：召回率@5
    值：48.241
- 任务：
  类型：配对分类
  数据集：
  类型：C-MTEB/CMNLI
  名称：MTEB Cmnli
  配置：默认
  分割：验证
  修订：无
  指标：
  - 类型：余弦相似度准确率
    值：83.6680697534576
  - 类型：余弦相似度AP
    值：90.77401562455269
  - 类型：余弦相似度F1
    值：84.68266427450101
  - 类型：余弦相似度精确率
    值：81.36177547942253
  - 类型：余弦相似度召回率
    值：88.28618190320317
  - 类型：点积准确率
    值：83.6680697534576
  - 类型：点积AP
    值：90.76429465198817
  - 类型：点积F1
    值：84.68266427450101
  - 类型：点积精确率
    值：81.36177547942253
  - 类型：点积召回率
    值：88.28618190320317
  - 类型：欧几里得准确率
    值：83.6680697534576
  - 类型：欧几里得AP
    值：90.77401909305344
  - 类型：欧几里得F1
    值：84.68266427450101
  - 类型：欧几里得精确率
    值：81.36177547942253
  - 类型：欧几里得召回率
    值：88.28618190320317
  - 类型：曼哈顿准确率
    值：83.40348767288035
  - 类型：曼哈顿AP
    值：90.57002020310819
  - 类型：曼哈顿F1
    值：84.51526032315978
  - 类型：曼哈顿精确率
    值：81.25134843581445
  - 类型：曼哈顿召回率
    值：88.05237315875614
  - 类型：最大准确率
    值：83.6680697534576
  - 类型：最大AP
    值：90.77401909305344
  - 类型：最大F1
    值：84.68266427450101
- 任务：
  类型：检索
  数据集：
  类型：C-MTEB/CovidRetrieval
  名称：MTEB CovidRetrieval
  配置：默认
  分割：开发
  修订：无
  指标：
  - 类型：MAP@1
    值：69.705
  - 类型：MAP@10
    值：78.648
  - 类型：MAP@100
    值：78.888
  - 类型：MAP@1000
    值：78.89399999999999
  - 类型：MAP@3
    值：77.151
  - 类型：MAP@5
    值：77.98
  - 类型：MRR@1
    值：69.863
  - 类型：MRR@10
    值：78.62599999999999
  - 类型：MRR@100
    值：78.861
  - 类型：MRR@1000
    值：78.867
  - 类型：MRR@3
    值：77.204
  - 类型：MRR@5
    值：78.005
  - 类型：NDCG@1
    值：69.968
  - 类型：NDCG@10
    值：82.44399999999999
  - 类型：NDCG@100
    值：83.499
  - 类型：NDCG@1000
    值：83.647
  - 类型：NDCG@3
    值：79.393
  - 类型：NDCG@5
    值：80.855
  - 类型：精确率@1
    值：69.968
  - 类型：精确率@10
    值：9.515
  - 类型：精确率@100
    值：0.9990000000000001
  - 类型：精确率@1000
    值：0.101
  - 类型：精确率@3
    值：28.802
  - 类型：精确率@5
    值：18.019
  - 类型：召回率@1
    值：69.705
  - 类型：召回率@10
    值：94.152
  - 类型：召回率@100
    值：98.84100000000001
  - 类型：召回率@1000
    值：100.0
  - 类型：召回率@3
    值：85.774
  - 类型：召回率@5
    值：89.252
- 任务：
  类型：检索
  数据集：
  类型：C-MTEB/DuRetrieval
  名称：MTEB DuRetrieval
  配置：默认
  分割：开发
  修订：无
  指标：
  - 类型：MAP@1
    值：25.88
  - 类型：MAP@10
    值：79.857
  - 类型：MAP@100
    值：82.636
  - 类型：MAP@1000
    值：82.672