pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度
• MTEB
• 金融
• FIQA
• 财务
• 检索
• RAG
• ESG
• 固定收益
• 股票 model-index:
• name: fin-mpnet-base-v0.1 results:
  • task: type: 分类 dataset: type: mteb/amazon_reviews_multi name: MTEB亚马逊评论分类（英文） config: en split: 测试集 revision: 1399c76144fd37290681b995c656ef9b2e06e26d metrics:
    • type: 准确率 value: 29.128
    • type: F1分数 value: 28.657401543151707
  • task: type: 检索 dataset: type: arguana name: MTEB ArguAna config: 默认 split: 测试集 revision: 无 metrics:
    • type: 首位平均精度 value: 24.111
    • type: 前十平均精度 value: 40.083
    • type: 前百平均精度 value: 41.201
    • type: 前千平均精度 value: 41.215
    • type: 前三平均精度 value: 35.325
    • type: 前五平均精度 value: 37.796
    • type: 首位倒数排名 value: 25.036
    • type: 前十倒数排名 value: 40.436
    • type: 前百倒数排名 value: 41.554
    • type: 前千倒数排名 value: 41.568
    • type: 前三倒数排名 value: 35.644999999999996
    • type: 前五倒数排名 value: 38.141000000000005
    • type: 首位归一化折损累积增益 value: 24.111
    • type: 前十归一化折损累积增益 value: 49.112
    • type: 前百归一化折损累积增益 value: 53.669999999999995
    • type: 前千归一化折损累积增益 value: 53.944
    • type: 前三归一化折损累积增益 value: 39.035
    • type: 前五归一化折损累积增益 value: 43.503
    • type: 首位精确率 value: 24.111
    • type: 前十精确率 value: 7.817
    • type: 前百精确率 value: 0.976
    • type: 前千精确率 value: 0.1
    • type: 前三精确率 value: 16.596
    • type: 前五精确率 value: 12.134
    • type: 首位召回率 value: 24.111
    • type: 前十召回率 value: 78.16499999999999
    • type: 前百召回率 value: 97.58200000000001
    • type: 前千召回率 value: 99.57300000000001
    • type: 前三召回率 value: 49.787
    • type: 前五召回率 value: 60.669
  • task: type: 分类 dataset: type: mteb/banking77 name: MTEB Banking77分类 config: 默认 split: 测试集 revision: 0fd18e25b25c072e09e0d92ab615fda904d66300 metrics:
    • type: 准确率 value: 80.25
    • type: F1分数 value: 79.64999520103544
  • task: type: 检索 dataset: type: fiqa name: MTEB FiQA2018 config: 默认 split: 测试集 revision: 无 metrics:
    • type: 首位平均精度 value: 37.747
    • type: 前十平均精度 value: 72.223
    • type: 前百平均精度 value: 73.802
    • type: 前千平均精度 value: 73.80499999999999
    • type: 前三平均精度 value: 61.617999999999995
    • type: 前五平均精度 value: 67.92200000000001
    • type: 首位倒数排名 value: 71.914
    • type: 前十倒数排名 value: 80.71000000000001
    • type: 前百倒数排名 value: 80.901
    • type: 前千倒数排名 value: 80.901
    • type: 前三倒数排名 value: 78.935
    • type: 前五倒数排名 value: 80.193
    • type: 首位归一化折损累积增益 value: 71.914
    • type: 前十归一化折损累积增益 value: 79.912
    • type: 前百归一化折损累积增益 value: 82.675
    • type: 前千归一化折损累积增益 value: 82.702
    • type: 前三归一化折损累积增益 value: 73.252
    • type: 前五归一化折损累积增益 value: 76.36
    • type: 首位精确率 value: 71.914
    • type: 前十精确率 value: 23.071
    • type: 前百精确率 value: 2.62
    • type: 前千精确率 value: 0.263
    • type: 前三精确率 value: 51.235
    • type: 前五精确率 value: 38.117000000000004
    • type: 首位召回率 value: 37.747
    • type: 前十召回率 value: 91.346
    • type: 前百召回率 value: 99.776
    • type: 前千召回率 value: 99.897
    • type: 前三召回率 value: 68.691
    • type: 前五召回率 value: 80.742
  • task: type: 检索 dataset: type: nfcorpus name: MTEB NFCorpus config: 默认 split: 测试集 revision: 无 metrics:
    • type: 首位平均精度 value: 4.124
    • type: 前十平均精度 value: 10.206999999999999
    • type: 前百平均精度 value: 13.181000000000001
    • type: 前千平均精度 value: 14.568
    • type: 前三平均精度 value: 7.2620000000000005
    • type: 前五平均精度 value: 8.622
    • type: 首位倒数排名 value: 39.009
    • type: 前十倒数排名 value: 48.144
    • type: 前百倒数排名 value: 48.746
    • type: 前千倒数排名 value: 48.789
    • type: 前三倒数排名 value: 45.356
    • type: 前五倒数排名 value: 47.152
    • type: 首位归一化折损累积增益 value: 36.533
    • type: 前十归一化折损累积增益 value: 29.643000000000004
    • type: 前百归一化折损累积增益 value: 27.893
    • type: 前千归一化折损累积增益 value: 37.307
    • type: 前三归一化折损累积增益 value: 33.357
    • type: 前五归一化折损累积增益 value: 32.25
    • type: 首位精确率 value: 38.7
    • type: 前十精确率 value: 22.941
    • type: 前百精确率 value: 7.303
    • type: 前千精确率 value: 2.028
    • type: 前三精确率 value: 31.889
    • type: 前五精确率 value: 29.04
    • type: 首位召回率 value: 4.124
    • type: 前十召回率 value: 14.443
    • type: 前百召回率 value: 29.765000000000004
    • type: 前千召回率 value: 63.074
    • type: 前三召回率 value: 8.516
    • type: 前五召回率 value: 10.979
  • task: type: 检索 dataset: type: scifact name: MTEB SciFact config: 默认 split: 测试集 revision: 无 metrics:
    • type: 首位平均精度 value: 49.010999999999996
    • type: 前十平均精度 value: 60.094
    • type: 前百平均精度 value: 60.79900000000001
    • type: 前千平均精度 value: 60.828
    • type: 前三平均精度 value: 57.175
    • type: 前五平均精度 value: 58.748
    • type: 首位倒数排名 value: 51.666999999999994
    • type: 前十倒数排名 value: 61.312
    • type: 前百倒数排名 value: 61.821000000000005
    • type: 前千倒数排名 value: 61.85000000000001
    • type: 前三倒数排名 value: 59.0
    • type: 前五倒数排名 value: 60.199999999999996
    • type: 首位归一化折损累积增益 value: 51.666999999999994
    • type: 前十归一化折损累积增益 value: 65.402
    • type: 前百归一化折损累积增益 value: 68.377
    • type: 前千归一化折损累积增益 value: 69.094
    • type: 前三归一化折损累积增益 value: 60.153999999999996
    • type: 前五归一化折损累积增益 value: 62.455000000000005
    • type: 首位精确率 value: 51.666999999999994
    • type: 前十精确率 value: 9.067
    • type: 前百精确率 value: 1.0670000000000002
    • type: 前千精确率 value: 0.11199999999999999
    • type: 前三精确率 value: 24.0
    • type: 前五精确率 value: 15.933
    • type: 首位召回率 value: 49.010999999999996
    • type: 前十召回率 value: 80.511
    • type: 前百召回率 value: 94.0
    • type: 前千召回率 value: 99.5
    • type: 前三召回率 value: 66.2
    • type: 前五召回率 value: 71.944

完整评估未完成

Fin-MPNET-Base (v0.1)

这是一个经过微调的sentence-transformers模型：它将句子和段落映射到768维的密集向量空间，可用于聚类或语义搜索等任务。

该模型旨在在金融文档检索任务上表现非常出色，同时尽可能保持通用性能。

v0.1在FiQA测试集上展示了当前最佳结果，而其他非金融基准测试仅下降几个百分点，部分还有所提升。

使用方法（Sentence-Transformers）

安装sentence-transformers后，使用此模型变得非常简单：

pip install -U sentence-transformers

然后可以像这样使用模型：

from sentence_transformers import SentenceTransformer
sentences = ["这是一个示例句子", "每个句子都会被转换"]

model = SentenceTransformer('mukaj/fin-mpnet-base')
embeddings = model.encode(sentences)
print(embeddings)

评估结果

模型在训练期间仅针对新的金融问答示例进行了评估，因此v0.1仅评估了金融相关的基准测试[FiQA-2018, BankingClassification77]。

该模型目前在测试集上展示了最高的FiQA检索分数，在MTEB排行榜上(https://huggingface.co/spaces/mteb/leaderboard)

该模型在其他基准测试上可能有所下降，例如BankingClassification77从81.6降至80.25，这将在v0.2版本中解决，并将对所有数据集进行全面评估。

训练

"sentence-transformers/all-mpnet-base-v2"在15万+金融文档问答示例上使用MNR损失进行了微调。