pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度
• 多任务评估基准 model-index:
• name: stella-base-zh-v2 results:
  • task: type: 语义文本相似度 dataset: type: 中文多任务评估基准/蚂蚁金融问答 name: MTEB 蚂蚁金融问答 config: 默认 split: 验证集 revision: 无 metrics:
    • type: 余弦相似度皮尔逊 value: 44.62083443545288
    • type: 余弦相似度斯皮尔曼 value: 46.72814628391134
    • type: 欧氏距离皮尔逊 value: 45.11522093816821
    • type: 欧氏距离斯皮尔曼 value: 46.72818648900957
    • type: 曼哈顿距离皮尔逊 value: 44.98820754682395
    • type: 曼哈顿距离斯皮尔曼 value: 46.63576705524296
  • task: type: 语义文本相似度 dataset: type: 中文多任务评估基准/ATEC name: MTEB ATEC config: 默认 split: 测试集 revision: 无 metrics:
    • type: 余弦相似度皮尔逊 value: 49.543902370260234
    • type: 余弦相似度斯皮尔曼 value: 51.22161152883018
    • type: 欧氏距离皮尔逊 value: 53.49586541060596
    • type: 欧氏距离斯皮尔曼 value: 51.22161490583934
    • type: 曼哈顿距离皮尔逊 value: 53.51023339947787
    • type: 曼哈顿距离斯皮尔曼 value: 51.22426632538443
  • task: type: 文本分类 dataset: type: 多任务评估基准/亚马逊多语种评论 name: MTEB 亚马逊评论分类(中文) config: 中文 split: 测试集 revision: 1399c76144fd37290681b995c656ef9b2e06e26d metrics:
    • type: 准确率 value: 39.644
    • type: F1分数 value: 37.67897186741224
  • task: type: 语义文本相似度 dataset: type: 中文多任务评估基准/BQ name: MTEB BQ config: 默认 split: 测试集 revision: 无 metrics:
    • type: 余弦相似度皮尔逊 value: 61.96416237112325
    • type: 余弦相似度斯皮尔曼 value: 64.80484064041543
    • type: 欧氏距离皮尔逊 value: 63.281983537100594
    • type: 欧氏距离斯皮尔曼 value: 64.80483024694405
    • type: 曼哈顿距离皮尔逊 value: 63.266046412399426
    • type: 曼哈顿距离斯皮尔曼 value: 64.79643672829964
  • task: type: 文本聚类 dataset: type: 中文多任务评估基准/CLS聚类P2P name: MTEB CLS聚类P2P config: 默认 split: 测试集 revision: 无 metrics:
    • type: V度量 value: 40.25857488823951
  • task: type: 文本聚类 dataset: type: 中文多任务评估基准/CLS聚类S2S name: MTEB CLS聚类S2S config: 默认 split: 测试集 revision: 无 metrics:
    • type: V度量 value: 37.17501553349549
  • task: type: 重排序 dataset: type: 中文多任务评估基准/CMedQAv1重排序 name: MTEB CMedQAv1 config: 默认 split: 测试集 revision: 无 metrics:
    • type: 平均准确率 value: 84.69751849160603
    • type: 平均倒数排名 value: 87.16257936507937
  • task: type: 重排序 dataset: type: 中文多任务评估基准/CMedQAv2重排序 name: MTEB CMedQAv2 config: 默认 split: 测试集 revision: 无 metrics:
    • type: 平均准确率 value: 85.31468551417655
    • type: 平均倒数排名 value: 87.74658730158731
  • task: type: 检索 dataset: type: 中文多任务评估基准/Cmedqa检索 name: MTEB Cmedqa检索 config: 默认 split: 开发集 revision: 无 metrics:
    • type: 首位平均准确率 value: 24.181
    • type: 前十平均准确率 value: 35.615
    • type: 前百平均准确率 value: 37.444
    • type: 前千平均准确率 value: 37.573
    • type: 前三位平均准确率 value: 31.679000000000002
    • type: 前五位平均准确率 value: 33.854
    • type: 首位平均倒数排名 value: 37.108999999999995
    • type: 前十平均倒数排名 value: 44.653
    • type: 前百平均倒数排名 value: 45.647
    • type: 前千平均倒数排名 value: 45.701
    • type: 前三位平均倒数排名 value: 42.256
    • type: 前五位平均倒数排名 value: 43.497
    • type: 首位归一化折损累积增益 value: 37.108999999999995
    • type: 前十归一化折损累积增益 value: 42.028999999999996
    • type: 前百归一化折损累积增益 value: 49.292
    • type: 前千归一化折损累积增益 value: 51.64
    • type: 前三位归一化折损累积增益 value: 37.017
    • type: 前五位归一化折损累积增益 value: 38.997
    • type: 首位精确率 value: 37.108999999999995
    • type: 前十精确率 value: 9.386999999999999
    • type: 前百精确率 value: 1.536
    • type: 前千精确率 value: 0.183
    • type: 前三位精确率 value: 20.93
    • type: 前五位精确率 value: 15.268999999999998
    • type: 首位召回率 value: 24.181
    • type: 前十召回率 value: 51.961999999999996
    • type: 前百召回率 value: 82.122
    • type: 前千召回率 value: 98.059
    • type: 前三位召回率 value: 36.730000000000004
    • type: 前五位召回率 value: 42.884
  • task: type: 文本对分类 dataset: type: 中文多任务评估基准/CMNLI name: MTEB 中文自然语言推理 config: 默认 split: 验证集 revision: 无 metrics:
    • type: 余弦相似度准确率 value: 76.23571858087793
    • type: 余弦相似度平均准确率 value: 84.75290046905519
    • type: 余弦相似度F1分数 value: 77.70114942528735
    • type: 余弦相似度精确率 value: 73.05475504322767
    • type: 余弦相似度召回率 value: 82.97872340425532
    • type: 点积准确率 value: 76.23571858087793
    • type: 点积平均准确率 value: 84.75113928508674
    • type: 点积F1分数 value: 77.70114942528735
    • type: 点积精确率 value: 73.05475504322767
    • type: 点积召回率 value: 82.97872340425532
    • type: 欧氏距离准确率 value: 76.23571858087793
    • type: 欧氏距离平均准确率 value: 84.75289931658567
    • type: 欧氏距离F1分数 value: 77.70114942528735
    • type: 欧氏距离精确率 value: 73.05475504322767
    • type: 欧氏距离召回率 value: 82.97872340425532
    • type: 曼哈顿距离准确率 value: 76.17558628983764
    • type: 曼哈顿距离平均准确率 value: 84.75764676597448
    • type: 曼哈顿距离F1分数 value: 77.73437499999999
    • type: 曼哈顿距离精确率 value: 72.52480259161773
    • type: 曼哈顿距离召回率 value: 83.75029226093056
    • type: 最大准确率 value: 76.23571858087793
    • type: 最大平均准确率 value: 84.75764676597448
    • type: 最大F1分数 value: 77.73437499999999
  • task: type: 检索 dataset: type: 中文多任务评估基准/新冠检索 name: MTEB 新冠检索 config: 默认 split: 开发集 revision: 无 metrics:
    • type: 首位平均准确率 value: 67.43900000000001
    • type: 前十平均准确率 value: 76.00099999999999
    • type: 前百平均准确率 value: 76.297
    • type: 前千平均准确率 value: 76.29899999999999
    • type: 前三位平均准确率 value: 74.412
    • type: 前五位平均准确率 value: 75.177
    • type: 首位平均倒数排名 value: 67.65
    • type: 前十平均倒数排名 value: 76.007
    • type: 前百平均倒数排名 value: 76.322
    • type: 前千平均倒数排名 value: 76.324
    • type: 前三位平均倒数排名 value: 74.464
    • type: 前五位平均倒数排名 value: 75.265
    • type: 首位归一化折损累积增益 value: 67.65
    • type: 前十归一化折损累积增益 value: 79.85600000000001
    • type: 前百归一化折损累积增益 value: 81.34400000000001
    • type: 前千归一化折损累积增益 value: 81.44200000000001
    • type: 前三位归一化折损累积增益 value: 76.576
    • type: 前五位归一化折损累积增益 value: 77.956
    • type: 首位精确率 value: 67.65
    • type: 前十精确率 value: 9.283
    • type: 前百精确率 value: 0.9990000000000001
    • type: 前千精确率 value: 0.101
    • type: 前三位精确率 value: 27.749000000000002
    • type: 前五位精确率 value: 17.345
    • type: 首位召回率 value: 67.