模型简介
模型特点
模型能力
使用案例
标签:
- 多任务评估基准
- 句子相似度
- 句子转换器
- 句子嵌入模型
- llama-cpp框架
- gguf模型仓库
语言:
- 英语
许可证: MIT协议
基础模型: thenlper/gte-large-zh
模型索引:
- 名称: gte-large-zh
评估结果:
-
任务类型: 语义文本相似度(STS) 数据集: MTEB AFQMC 指标:
- 余弦相似度皮尔逊系数: 48.94
- 余弦相似度斯皮尔曼系数: 54.58
- 欧式距离皮尔逊系数: 52.74
- 欧式距离斯皮尔曼系数: 54.58
- 曼哈顿距离皮尔逊系数: 52.73
- 曼哈顿距离斯皮尔曼系数: 54.57
-
任务类型: 语义文本相似度(STS) 数据集: MTEB ATEC 指标:
- 余弦相似度皮尔逊系数: 47.29
- 余弦相似度斯皮尔曼系数: 54.60
- 欧式距离皮尔逊系数: 54.61
- 欧式距离斯皮尔曼系数: 54.60
- 曼哈顿距离皮尔逊系数: 54.59
- 曼哈顿距离斯皮尔曼系数: 54.60
-
任务类型: 文本分类 数据集: MTEB亚马逊评论分类(中文) 指标:
- 准确率: 47.23%
- F1分数: 45.69
-
任务类型: 语义文本相似度(STS) 数据集: MTEB BQ 指标:
- 余弦相似度皮尔逊系数: 62.55
- 余弦相似度斯皮尔曼系数: 64.41
- 欧式距离皮尔逊系数: 62.93
- 欧式距离斯皮尔曼系数: 64.41
- 曼哈顿距离皮尔逊系数: 62.84
- 曼哈顿距离斯皮尔曼系数: 64.31
-
任务类型: 文本聚类 数据集: MTEB CLSClusteringP2P 指标:
- V度量: 42.10
-
任务类型: 文本聚类 数据集: MTEB CLSClusteringS2S 指标:
- V度量: 38.91
-
任务类型: 重排序 数据集: MTEB CMedQAv1 指标:
- 平均准确率(MAP): 86.09
- 平均倒数排名(MRR): 88.67
-
任务类型: 重排序 数据集: MTEB CMedQAv2 指标:
- 平均准确率(MAP): 86.46
- 平均倒数排名(MRR): 89.02
-
任务类型: 信息检索 数据集: MTEB CmedqaRetrieval 指标:
- 前1命中率(MAP@1): 24.22%
- 前10命中率(MAP@10): 36.50%
- 前100命中率(MAP@100): 38.41%
- 前1000命中率(MAP@1000): 38.52%
- 前3命中率(MAP@3): 32.43%
- 前5命中率(MAP@5): 34.66%
- 前1倒数排名(MRR@1): 36.83%
- 前10倒数排名(MRR@10): 45.20%
- 前100倒数排名(MRR@100): 46.21%
- 前1000倒数排名(MRR@1000): 46.26%
- 前3倒数排名(MRR@3): 42.63%
- 前5倒数排名(MRR@5): 44.04%
- 前1标准化折损累积增益(NDCG@1): 36.83%
- 前10标准化折损累积增益(NDCG@10): 43.15%
- 前100标准化折损累积增益(NDCG@100): 50.63%
- 前1000标准化折损累积增益(NDCG@1000): 52.61%
- 前3标准化折损累积增益(NDCG@3): 37.85%
- 前5标准化折损累积增益(NDCG@5): 40.01%
- 前1精确率: 36.83%
- 前10精确率: 9.65%
- 前100精确率: 1.57%
- 前1000精确率: 0.18%
- 前3精确率: 21.48%
- 前5精确率: 15.65%
- 前1召回率: 24.22%
- 前10召回率: 54.08%
- 前100召回率: 84.94%
- 前1000召回率: 98.10%
- 前3召回率: 38.12%
- 前5召回率: 44.78%
-
任务类型: 句子对分类 数据集: MTEB Cmnli 指标:
- 余弦相似度准确率: 82.51%
- 余弦相似度平均准确率: 89.50
- 余弦相似度F1分数: 83.89
- 余弦相似度精确率: 78.20%
- 余弦相似度召回率: 90.48%
- 点积准确率: 82.51%
- 点积平均准确率: 89.49
- 点积F1分数: 83.89
- 点积精确率: 78.20%
- 点积召回率: 90.48%
- 欧式距离准确率: 82.51%
- 欧式距离平均准确率: 89.50
- 欧式距离F1分数: 83.89
- 欧式距离精确率: 78.20%
- 欧式距离召回率: 90.48%
- 曼哈顿距离准确率: 82.49%
- 曼哈顿距离平均准确率: 89.49
- 曼哈顿距离F1分数: 83.85
- 曼哈顿距离精确率: 77.28%
- 曼哈顿距离召回率: 91.63%
- 最高准确率: 82.51%
- 最高平均准确率: 89.50
- 最高F1分数: 83.89
-
任务类型: 信息检索 数据集: MTEB CovidRetrieval 指标:
- 前1命中率(MAP@1): 78.58%
- 前10命中率(MAP@10): 85.61%
- 前100命中率(MAP@100): 85.78%
- 前1000命中率(MAP@1000): 85.78%
- 前3命中率(MAP@3): 84.58%
- 前5命中率(MAP@5): 85.23%
- 前1倒数排名(MRR@1): 78.93%
- 前10倒数排名(MRR@10): 85.67%
- 前100倒数排名(MRR@100): 85.82%
- 前1000倒数排名(MRR@1000): 85.82%
- 前3倒数排名(MRR@3): 84.65%
- 前5倒数排名(MRR@5): 85.30%
- 前1标准化折损累积增益(NDCG@1): 78.93%
- 前10标准化折损累积增益(NDCG@10): 88.41%
- 前100标准化折损累积增益(NDCG@100): 89.03%
- 前1000标准化折损累积增益(NDCG@1000): 89.09%
- 前3标准化折损累积增益(NDCG@3): 86.39%
- 前5标准化折损累积增益(NDCG@5): 87.50%
- 前1精确率: 78.93%
- 前10精确率: 9.79%
- 前100精确率: 1.01%
- 前1000精确率: 0.10%
- 前3精确率: 30.77%
- 前5精确率: 19.03%
- 前1召回率: 78.58%
- 前10召回率: 96.89%
- 前100召回率: 99.47%
- 前1000召回率: 100.00%
- 前3召回率: 91.44%
- 前5召回率: 94.15%
-
任务类型: 信息检索 数据集: MTEB DuRetrieval 指标:
- 前1命中率(MAP@1): 25.60%
- 前10命中率(MAP@10): 77.17%
- 前100命中率(MAP@100): 80.03%
- 前1000命中率(MAP@1000): 80.10%
- 前3命中率(MAP@3): 54.36%
- 前5命中率(MAP@5): 68.02%
- 前1倒数排名(MRR@1): 89.85%
- 前10倒数排名(MRR@10): 93.01%
- 前100倒数排名(MRR@100): 93.07%
- 前1000倒数排名(MRR@1000): 93.07%
- 前3倒数排名(MRR@3): 92.73%
- 前5倒数排名(MRR@5): 92.92%
- 前1标准化折损累积增益(NDCG@1): 89.85%
- 前10标准化折损累积增益(NDCG@10): 85.04%
- 前100标准化折损累积增益(NDCG@100): 88.25%
- 前1000标准化折损累积增益(NDCG@1000): 88.84%
- 前3标准化折损累积增益(NDCG@3): 85.20%
- 前5标准化折损累积增益(NDCG@5): 83.47%
- 前1精确率: 89.85%
- 前10精确率: 40.28%
- 前100精确率: 4.71%
- 前1000精确率: 0.49%
- 前3精确率: 76.37%
- 前5精确率: 63.76%
- 前1召回率: 25.60%
- 前10召回率: 85.42%
- 前100召回率: 95.70%
- 前1000召回率: 98.67%
- 前3召回率: 56.74%
- 前5召回率: 72.65%
-
任务类型: 信息检索 数据集: MTEB EcomRetrieval 指标:
- 前1命中率(MAP@1): 51.80%
- 前10命中率(MAP@10): 62.17%
- 前100命中率(MAP@100): 62.65%
- 前1000命中率(MAP@1000): 62.66%
- 前3命中率(MAP@3): 59.70%
- 前5命中率(MAP@5): 61.23%
- 前1倒数排名(MRR@1): 51.80%
- 前10倒数排名(MRR@10): 62.17%
- 前100倒数排名(MRR@100): 62.65%
- 前1000倒数排名(MRR@1000): 62.66%
- 前3倒数排名(MRR@3): 59.70%
- 前5倒数排名(MRR@5): 61.23%
- 前1标准化折损累积增益(NDCG@1): 51.80%
- 前10标准化折损累积增益(NDCG@10): 67.25%
- 前100标准化折损累积增益(NDCG@100): 69.58%
- 前1000标准化折损累积增益(NDCG@1000): 69.93%
- 前3标准化折损累积增益(NDCG@3): 62.20%
- 前5标准化折损累积增益(NDCG@5): 64.98%
- 前1精确率: 51.80%
- 前10精确率: 8.32%
- 前100精确率: 0.94%
- 前1000精确率: 0.10%
- 前3精确率: 23.13%
- 前5精确率: 15.24%
- 前1召回率: 51.80%
- 前10召回率: 83.20%
- 前100召回率: 94.10%
- 前1000召回率: 96.80%
- 前3召回率: 69.40%
- 前5召回率: 76.20%
-
任务类型: 文本分类 数据集: MTEB iFlyTek 指标:
- 准确率: 49.60%
- F1分数: 38.24
-
任务类型: 文本分类 数据集: MTEB京东评论分类 指标:
- 准确率: 86.72%
- 平均准确率: 55.76
- F1分数: 81.59
-
任务类型: 语义文本相似度(STS) 数据集: MTEB LCQMC 指标:
- 余弦相似度皮尔逊系数: 69.51
- 余弦相似度斯皮尔曼系数: 74.40
- 欧式距离皮尔逊系数: 73.53
- 欧式距离斯皮尔曼系数: 74.40
- 曼哈顿距离皮尔逊系数: 73.51
- 曼哈顿距离斯皮尔曼系数: 74.38
-
任务类型: 重排序 数据集: MTEB MMarcoReranking 指标:
- 平均准确率(MAP): 31.19
- 平均倒数排名(MRR): 29.85
-
任务类型: 信息检索 数据集: MTEB MMarcoRetrieval 指标:
- 前1命中率(MAP@1): 64.69%
- 前10命中率(MAP@10): 73.80%
- 前100命中率(MAP@100): 74.15%
- 前1000命中率(MAP@1000): 74.17%
- 前3命中率(MAP@3): 71.98%
- 前5命中率(MAP@5): 73.22%
- 前1倒数排名(MRR@1): 66.89%
- 前10倒数排名(MRR@10): 74.49%
- 前100倒数排名(MRR@100): 74.79%
- 前1000倒数排名(MRR@1000): 74.80%
- 前3倒数排名(MRR@3): 72.92%
- 前5倒数排名(MRR@5): 73.97%
- 前1标准化折损累积增益(NDCG@1): 66.89%
- 前10标准化折损累积增益(NDCG@10): 77.53%
- 前100标准化折损累积增益(NDCG@100): 79.11%
- 前1000标准化折损累积增益(NDCG@1000): 79.49%
- 前3标准化折损累积增益(NDCG@3): 74.13%
- 前5标准化折损累积增益(NDCG@5): 76.21%
- 前1精确率: 66.89%
- 前10精确率: 9.38%
- 前100精确率: 1.02%
- 前1000精确率: 0.11%
- 前3精确率: 27.93%
- 前5精确率: 17.86%
- 前1召回率: 64.69%
- 前10召回率: 88.30%
- 前100召回率: 95.43%
- 前1000召回率: 98.49%
- 前3召回率: 79.44%
- 前5召回率: 84.36%
-
任务类型: 文本分类 数据集: MTEB Massive意图分类(中文) 指标:
- 准确率: 73.31%
- F1分数: 70.88
-
任务类型: 文本分类 数据集: MTEB Massive场景分类(中文) 指标:
- 准确率: 75.71%
- F1分数: 75.06
-
任务类型: 信息检索 数据集: MTEB医学检索 指标:
- 前1命中率(MAP@1): 52.70%
- 前10命中率(MAP@10): 59.53%
- 前100命中率(MAP@100): 60.09%
- 前1000命中率(MAP@1000): 60.13%
- 前3命中率(MAP@3): 57.77%
- 前5命中率(MAP@5): 58.95%
- 前1倒数排名(MRR@1): 52.90%
- 前10倒数排名(MRR@10): 59.65%
- 前100倒数排名(MRR@100): 60.20%
- 前1000倒数排名(MRR@1000): 60.24%
- 前3倒数排名(MRR@3): 57.88%
- 前5倒数排名(MRR@5): 59.07%
- 前1标准化折损累积增益(NDCG@1): 52.70%
- 前10标准化折损累积增益(NDCG@10): 62.88%
- 前100标准化折损累积增益(NDCG@100): 65.71%
- 前1000标准化折损累积增益(NDCG@1000): 66.93%
- 前3标准化折损累积增益(NDCG@3): 59.35%
- 前5标准化折损累积增益(NDCG@5): 61.49%
- 前1精确率: 52.70%
- 前10精确率: 7.34%
- 前100精确率: 0.87%
- 前1000精确率: 0.10%
- 前3精确率: 21.30%
- 前5精确率: 13.82%
- 前1召回率: 52.70%
- 前10召回率: 73.40%
- 前100召回率: 87.00%
- 前1000召回率: 96.80%
- 前3召回率: 63.90%
- 前5召回率: 69.10%
-
任务类型: 文本分类 数据集: MTEB多语言情感分析 指标:
- 准确率: 76.48%
- F1分数: 76.48
-
任务类型: 句子对分类 数据集: MTEB Ocnli 指标:
- 余弦相似度准确率: 77.59%
- 余弦相似度平均准确率: 79.32
- 余弦相似度F1分数: 80.52
- 余弦相似度精确率: 71.79%
- 余弦相似度召回率: 91.66%
- 点积准确率: 77.59%
- 点积平均准确率: 79.32
- 点积F1分数: 80.52
- 点积精确率: 71.79%
- 点积召回率: 91.66%
- 欧式距离准确率: 77.59%
- 欧式距离平均准确率: 79.32
- 欧式距离F1分数: 80.52
- 欧式距离精确率: 71.79%
- 欧式距离召回率: 91.66%
- 曼哈顿距离准确率: 77.15%
- 曼哈顿距离平均准确率: 79.26
- 曼哈顿距离F1分数: 80.22
- 曼哈顿距离精确率: 70.94%
- 曼哈顿距离召回率: 92.29%
- 最高准确率: 77.59%
- 最高平均准确率: 79.32
- 最高F1分数: 80.52
-
任务类型: 文本分类 数据集: MTEB在线购物分类 指标:
- 准确率: 92.68%
- 平均准确率: 90.79
- F1分数: 92.67
-
任务类型: 语义文本相似度(STS) 数据集: MTEB PAWSX 指标:
- 余弦相似度皮尔逊系数: 35.30
- 余弦相似度斯皮尔曼系数: 38.55
- 欧式距离皮尔逊系数: 39.03
- 欧式距离斯皮尔曼系数: 38.55
- 曼哈顿距离皮尔逊系数: 39.05
- 曼哈顿距离斯皮尔曼系数: 38.54
-
任务类型: 语义文本相似度(STS) 数据集: MTEB QBQTC 指标:
- 余弦相似度皮尔逊系数: 32.28
- 余弦相似度斯皮尔曼系数: 33.36
- 欧式距离皮尔逊系数: 32.00
- 欧式距离斯皮尔曼系数: 33.36
- 曼哈顿距离皮尔逊系数: 31.97
- 曼哈顿距离斯皮尔曼系数: 33.31
-
任务类型: 语义文本相似度(STS) 数据集: MTEB STS22(中文) 指标:
- 余弦相似度皮尔逊系数: 62.54
- 余弦相似度斯皮尔曼系数: 62.98
- 欧式距离皮尔逊系数: 61.79
- 欧式距离斯皮尔曼系数: 62.98
- 曼哈顿距离皮尔逊系数: 62.64
- 曼哈顿距离斯皮尔曼系数: 63.57
-
任务类型: 语义文本相似度(STS) 数据集: MTEB STSB 指标:
- 余弦相似度皮尔逊系数: 79.52
- 余弦相似度斯皮尔曼系数: 79.68
- 欧式距离皮尔逊系数: 79.28
- 欧式距离斯皮尔曼系数: 79.68
- 曼哈顿距离皮尔逊系数: 79.22
- 曼哈顿距离斯皮尔曼系数: 79.64
-
任务类型: 重排序 数据集: MTEB T2Reranking 指标:
- 平均准确率(MAP): 65.86
- 平均倒数排名(MRR): 75.83
-
任务类型: 信息检索 数据集: MTEB T2Retrieval 指标:
- 前1命中率(MAP@1): 27.89%
- 前10命中率(MAP@10): 72.88%
- 前100命中率(MAP@100): 76.74%
- 前1000命中率(MAP@1000): 76.84%
- 前3命中率(MAP@3): 52.74%
- 前5命中率(MAP@5): 63.73%
- 前1倒数排名(MRR@1): 89.36%
- 前10倒数排名(MRR@10): 92.62%
- 前100倒数排名(MRR@100): 92.69%
- 前1000倒数排名(MRR@1000): 92.69%
- 前3倒数排名(MRR@3): 92.14%
- 前5倒数排名(MRR@5): 92.45%
- 前1标准化折损累积增益(NDCG@1): 89.36%
- 前10标准化折损累积增益(NDCG@10): 81.93%
- 前100标准化折损累积增益(NDCG@100): 86.35%
- 前1000标准化折损累积增益(NDCG@1000): 87.22%
- 前3标准化折损累积增益(NDCG@3): 84.29%
- 前5标准化折损累积增益(NDCG@5): 82.28%
- 前1精确率: 89.36%
- 前10精确率: 39.51%
- 前100精确率: 4.90%
- 前1000精确率: 0.51%
- 前3精确率: 72.62%
- 前5精确率: 59.92%
- 前1召回率: 27.89%
- 前10召回率: 80.64%
- 前100召回率: 94.33%
- 前1000召回率: 98.39%
- 前3召回率: 54.80%
- 前5召回率: 67.82%
-
任务类型: 文本分类 数据集: MTEB TNews 指标:
- 准确率: 51.98%
- F1分数: 50.36
-
任务类型: 文本聚类 数据集: MTEB ThuNewsClusteringP2P 指标:
- V度量: 68.36
-
任务类型: 文本聚类 数据集: MTEB ThuNewsClusteringS2S 指标:
- V度量: 62.92
-
任务类型: 信息检索 数据集: MTEB视频检索 指标:
- 前1命中率(MAP@1): 59.30%
- 前10命中率(MAP@10): 69.30%
- 前100命中率(MAP@100): 69.67%
- 前1000命中率(MAP@1000): 69.68%
- 前3命中率(MAP@3): 67.58%
- 前5命中率(MAP@5): 68.58%
- 前1倒数排名(MRR@1): 59.30%
- 前10倒数排名(MRR@10): 69.30%
- 前100倒数排名(MRR@100): 69.67%
- 前1000倒数排名(MRR@1000): 69.68%
- 前3倒数排名(MRR@3): 67.58%
- 前5倒数排名(MRR@5): 68.58%
- 前1标准化折损累积增益(NDCG@1): 59.30%
- 前10标准化折损累积增益(NDCG@10): 73.70%
- 前100标准化折损累积增益(NDCG@100): 75.63%
- 前1000标准化折损累积增益(NDCG@1000): 75.95%
- 前3标准化折损累积增益(NDCG@3): 70.19%
- 前5标准化折损累积增益(NDCG@5): 71.99%
- 前1精确率: 59.30%
- 前10精确率: 8.73%
- 前100精确率: 0.97%
- 前1000精确率: 0.10%
- 前3精确率: 25.90%
- 前5精确率: 16.42%
- 前1召回率: 59.30%
- 前10召回率: 87.30%
- 前100召回率: 96.50%
- 前1000召回率: 99.00%
- 前3召回率: 77.70%
- 前5召回率: 82.10%
-
任务类型: 文本分类 数据集: MTEB外卖评论分类 指标:
- 准确率: 88.37%
- 平均准确率: 73.30
- F1分数: 86.74
-
linlueird/gte-large-zh-GGUF
该模型通过llama.cpp从thenlper/gte-large-zh
转换为GGUF格式,使用了ggml.ai的GGUF-my-repo空间。关于模型的更多细节请参考原始模型卡片。
使用llama.cpp
通过brew安装llama.cpp(适用于Mac和Linux)
brew install llama.cpp
调用llama.cpp服务端或命令行工具。
命令行工具:
llama-cli --hf-repo linlueird/gte-large-zh-GGUF --hf-file gte-large-zh-q4_k_m.gguf -p "生命和宇宙的意义是"
服务端:
llama-server --hf-repo linlueird/gte-large-zh-GGUF --hf-file gte-large-zh-q4_k_m.gguf -c 2048
注意:您也可以直接通过Llama.cpp仓库中列出的使用步骤使用该检查点。
步骤1:从GitHub克隆llama.cpp。
git clone https://github.com/ggerganov/llama.cpp
步骤2:进入llama.cpp文件夹并使用LLAMA_CURL=1
标志以及其他硬件特定标志(例如:Linux系统Nvidia显卡使用LLAMA_CUDA=1)进行构建。
cd llama.cpp && LLAMA_CURL=1 make
步骤3:通过主程序运行推理。
./llama-cli --hf-repo linlueird/gte-large-zh-GGUF --hf-file gte-large-zh-q4_k_m.gguf -p "生命和宇宙的意义是"
或
./llama-server --hf-repo linlueird/gte-large-zh-GGUF --hf-file gte-large-zh-q4_k_m.gguf -c 2048







