基础模型: dunzhang/stella_en_1.5B_v5 数据集: [] 语言: [] 库名称: sentence-transformers 评估指标:

• 余弦准确率@1
• 余弦准确率@3
• 余弦准确率@5
• 余弦准确率@10
• 余弦精确率@1
• 余弦精确率@3
• 余弦精确率@5
• 余弦精确率@10
• 余弦召回率@1
• 余弦召回率@3
• 余弦召回率@5
• 余弦召回率@10
• 余弦归一化折损累计增益@10
• 余弦平均倒数排名@10
• 余弦平均精度@100 任务标签: 句子相似度 标签:
• 句子转换器
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小:693000
• 损失函数:套娃损失
• 损失函数:多重负样本排序损失 演示示例:
• 源句: 准晶材料的定义是其晶格中具有短程和中程有序（类似于液晶相），但至少在某一方向上缺乏类似晶体的长程有序。 对比句:
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 准晶'
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 厄斯泰因·达勒'
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 马基斯·贝莱沃尼斯'
• 源句: '下泽是越南广平省布泽县的一个社（xã）和村庄。分类: 广平省聚居地 分类: 广平省社级行政区' 对比句:
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 这只名叫托德的狐狸如何向弗里尔·沃尔夫·韦茨凯斯忏悔的故事'
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 下泽'
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 塔达夏'
• 源句: 金色清真寺（سنهرى مسجد，Sunehri Masjid）是旧德里的一座清真寺。它位于红堡德里门西南角外侧，与苏巴斯·钱德拉·鲍斯公园相对。 对比句:
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 算法'
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 金色清真寺（红堡）'
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 西班牙诗坛'
• 源句: 联合银行（Unibank, S.A.）是海地两家最大的私营商业银行之一。该银行由一群海地投资者于1993年创立，是"国家金融集团（GFN）"的主要公司。它于1993年7月在太子港市中心开设了第一家办事处，截至2016年底在全国拥有50家分行。 对比句:
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 天空TG24'
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 戈米杰'
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 联合银行（海地）'
• 源句: 柴可夫斯基交响乐团是成立于1930年的俄罗斯古典音乐乐团。它最初作为莫斯科广播交响乐团成立，并担任苏联全联盟广播网络的官方交响乐团。1991年苏联解体后，俄罗斯文化部于1993年将其更名为柴可夫斯基交响乐团，以表彰柴可夫斯基音乐在其曲目中的核心地位。现任音乐总监是自1974年起任职的弗拉基米尔·费多谢耶夫。 对比句:
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 哈拉尔德·J·W·穆勒-基尔斯滕'
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 拉坎敦山脉'
  • '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 柴可夫斯基交响乐团' 模型索引:
• 名称: 基于dunzhang/stella_en_1.5B_v5的SentenceTransformer 结果:
  • 任务: 类型: 信息检索 名称: 信息检索 数据集: 名称: 未知 类型: 未知 指标:
    • 类型: 余弦准确率@1 值: 0.9447811447811448 名称: 余弦准确率@1
    • 类型: 余弦准确率@3 值: 0.9686868686868687 名称: 余弦准确率@3
    • 类型: 余弦准确率@5 值: 0.9764309764309764 名称: 余弦准确率@5
    • 类型: 余弦准确率@10 值: 0.9811447811447811 名称: 余弦准确率@10
    • 类型: 余弦精确率@1 值: 0.9447811447811448 名称: 余弦精确率@1
    • 类型: 余弦精确率@3 值: 0.3228956228956229 名称: 余弦精确率@3
    • 类型: 余弦精确率@5 值: 0.19528619528619526 名称: 余弦精确率@5
    • 类型: 余弦精确率@10 值: 0.09811447811447811 名称: 余弦精确率@10
    • 类型: 余弦召回率@1 值: 0.9447811447811448 名称: 余弦召回率@1
    • 类型: 余弦召回率@3 值: 0.9686868686868687 名称: 余弦召回率@3
    • 类型: 余弦召回率@5 值: 0.9764309764309764 名称: 余弦召回率@5
    • 类型: 余弦召回率@10 值: 0.9811447811447811 名称: 余弦召回率@10
    • 类型: 余弦归一化折损累计增益@10 值: 0.9636993273003078 名称: 余弦归一化折损累计增益@10
    • 类型: 余弦平均倒数排名@10 值: 0.9580071882849661 名称: 余弦平均倒数排名@10
    • 类型: 余弦平均精度@100 值: 0.9586207391258978 名称: 余弦平均精度@100
    • 类型: 余弦准确率@1 值: 0.9444444444444444 名称: 余弦准确率@1
    • 类型: 余弦准确率@3 值: 0.97003367003367 名称: 余弦准确率@3
    • 类型: 余弦准确率@5 值: 0.9764309764309764 名称: 余弦准确率@5
    • 类型: 余弦准确率@10 值: 0.9824915824915825 名称: 余弦准确率@10
    • 类型: 余弦精确率@1 值: 0.9444444444444444 名称: 余弦精确率@1
    • 类型: 余弦精确率@3 值: 0.32334455667789 名称: 余弦精确率@3
    • 类型: 余弦精确率@5 值: 0.19528619528619529 名称: 余弦精确率@5
    • 类型: 余弦精确率@10 值: 0.09824915824915824 名称: 余弦精确率@10
    • 类型: 余弦召回率@1 值: 0.9444444444444444 名称: 余弦召回率@1
    • 类型: 余弦召回率@3 值: 0.97003367003367 名称: 余弦召回率@3
    • 类型: 余弦召回率@5 值: 0.9764309764309764 名称: 余弦召回率@5
    • 类型: 余弦召回率@10 值: 0.9824915824915825 名称: 余弦召回率@10
    • 类型: 余弦归一化折损累计增益@10 值: 0.9639446842698776 名称: 余弦归一化折损累计增益@10
    • 类型: 余弦平均倒数排名@10 值: 0.9579490673935119 名称: 余弦平均倒数排名@10
    • 类型: 余弦平均精度@100 值: 0.9584482053349265 名称: 余弦平均精度@100
    • 类型: 余弦准确率@1 值: 0.9437710437710438 名称: 余弦准确率@1
    • 类型: 余弦准确率@3 值: 0.967003367003367 名称: 余弦准确率@3
    • 类型: 余弦准确率@5 值: 0.9723905723905724 名称: 余弦准确率@5
    • 类型: 余弦准确率@10 值: 0.9801346801346801 名称: 余弦准确率@10
    • 类型: 余弦精确率@1 值: 0.9437710437710438 名称: 余弦精确率@1
    • 类型: 余弦精确率@3 值: 0.322334455667789 名称: 余弦精确率@3
    • 类型: 余弦精确率@5 值: 0.19447811447811444 名称: 余弦精确率@5
    • 类型: 余弦精确率@10 值: 0.09801346801346802 名称: 余弦精确率@10
    • 类型: 余弦召回率@1 值: 0.9437710437710438 名称: 余弦召回率@1
    • 类型: 余弦召回率@3 值: 0.967003367003367 名称: 余弦召回率@3
    • 类型: 余弦召回率@5 值: 0.9723905723905724 名称: 余弦召回率@5
    • 类型: 余弦召回率@10 值: 0.9801346801346801 名称: 余弦召回率@10
    • 类型: 余弦归一化折损累计增益@10 值: 0.9623908732460177 名称: 余弦归一化折损累计增益@10
    • 类型: 余弦平均倒数排名@10 值: 0.9566718775052107 名称: 余弦平均倒数排名@10
    • 类型: 余弦平均精度@100 值: 0.9572829070357247 名称: 余弦平均精度@100

基于dunzhang/stella_en_1.5B_v5的SentenceTransformer模型

这是一个基于dunzhang/stella_en_1.5B_v5微调的sentence-transformers模型。它将句子和段落映射到1024维的密集向量空间，可用于语义文本相似度、语义搜索、释义挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: dunzhang/stella_en_1.5B_v5
• 最大序列长度: 8096个标记
• 输出维度: 1024个标记
• 相似度函数: 余弦相似度

模型来源

• 文档: Sentence Transformers文档
• 仓库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8096, 'do_lower_case': False}) with Transformer model: Qwen2Model 
  (1): Pooling({'word_embedding_dimension': 1536, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 1536, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.linear.Identity'})
)

使用方式

直接使用(Sentence Transformers)

首先安装Sentence Transformers库:

pip install -U sentence-transformers

然后可以加载此模型并运行推理。

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("sentence_transformers_model_id")
# 运行推理
sentences = [
    '柴可夫斯基交响乐团是成立于1930年的俄罗斯古典音乐乐团。它最初作为莫斯科广播交响乐团成立，并担任苏联全联盟广播网络的官方交响乐团。1991年苏联解体后，俄罗斯文化部于1993年将其更名为柴可夫斯基交响乐团，以表彰柴可夫斯基音乐在其曲目中的核心地位。现任音乐总监是自1974年起任职的弗拉基米尔·费多谢耶夫。',
    '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 柴可夫斯基交响乐团',
    '指令: 给定一个网页搜索查询，检索回答该查询的相关段落。查询: 拉坎敦山脉',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

评估

评估指标

信息检索

• 使用InformationRetrievalEvaluator评估

信息检索

• 使用InformationRetrievalEvaluator评估

信息检索

• 使用InformationRetrievalEvaluator评估

训练详情

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_eval_batch_size: 4
• gradient_accumulation_steps: 4
• learning_rate: 2e-05
• max_steps: 1500
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• warmup_steps: 5
• bf16: True
• tf32: True
• optim: adamw_torch_fused
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: {'use_reentrant': False}
• batch_sampler: no_duplicates

训练日志

框架版本

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.41.2
• PyTorch: 2.2.0+cu121
• Accelerate: 0.33.0
• Datasets: 2.20.0
• Tokenizers: 0.19.1

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

套娃损失

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

多重负样本排序损失

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}