语言：

• 英语 许可证：apache-2.0 标签：
• 句子转换器
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小：35964
• 损失函数：MatryoshkaLoss
• 损失函数：MultipleNegativesRankingLoss 基础模型：nomic-ai/nomic-embed-text-v1.5 小部件：
• 源句：尽管磷在全球粮食生产中起着至关重要的作用，但对磷供需的经济和政策方面缺乏全面分析，突显了自然资源经济学领域的重大知识空白。 句子：
  • 人类大脑本质上是组织成动态、反相关的功能网络
  • '磷的故事：全球粮食安全与思考的食物'
  • 识别研究领域的知识空白
• 源句：尽管本分析使用了全面的数据来源，但需要注意的是，全球降水估算中仍存在不确定性，特别是在数据稀疏的地区，建议对研究结果进行谨慎解读。 句子：
  • 航天飞机雷达地形任务——一种由星载雷达获取的新型数字高程模型
  • 建议谨慎解读研究结果
  • '全球降水：基于观测、卫星估算和数值模型输出的17年月度分析'
• 源句：研究发现，参与者的价值函数具有损失厌恶、风险厌恶以及效用函数在收益中的凹性和在损失中的凸性特征。 句子：
  • 通过液晶模板机制合成的有序介孔分子筛
  • '前景理论：风险下的决策分析'
  • 总结结果部分
• 源句：需要进一步研究探索单个氨基酸在优化蛋白质摄入和促进最佳健康结果中的潜在作用。 句子：
  • 未来工作的建议
  • 改良早期预警评分在医疗入院中的验证
  • 能量、碳水化合物、纤维、脂肪、脂肪酸、胆固醇、蛋白质和氨基酸的膳食参考摄入量
• 源句：IANA工作组（2021年）基于先前的研究，表明较慢的步速与老年人不良后果风险增加相关（Levine等人，2015年；Schoenfeld等人，2016年）。 句子：
  • '可持续性科学中的跨学科研究：实践、原则与挑战'
  • 作为社区老年人不良后果预测指标的常规步速：国际营养与老龄化学会（IANA）工作组
  • 引用其他作者的观点或立场 数据集：
• Corran/SciTopicTriplets 流水线标签：句子相似度 库名称：sentence-transformers 指标：
• 余弦准确率@1
• 余弦准确率@3
• 余弦准确率@5
• 余弦准确率@10
• 余弦精确率@1
• 余弦精确率@3
• 余弦精确率@5
• 余弦精确率@10
• 余弦召回率@1
• 余弦召回率@3
• 余弦召回率@5
• 余弦召回率@10
• 余弦归一化折损累积增益@10
• 余弦平均倒数排名@10
• 余弦平均精度@100 模型索引：
• 名称：nomic-ai/nomic-embed-text-v1.5 结果：
  • 任务： 类型：信息检索 名称：信息检索 数据集： 名称：SciGen评估集 类型：SciGen-Eval-Set 指标：
    • 类型：余弦准确率@1 值：0.19750889679715303 名称：余弦准确率@1
    • 类型：余弦准确率@3 值：0.5547153024911032 名称：余弦准确率@3
    • 类型：余弦准确率@5 值：0.81605871886121 名称：余弦准确率@5
    • 类型：余弦准确率@10 值：0.9893238434163701 名称：余弦准确率@10
    • 类型：余弦精确率@1 值：0.19750889679715303 名称：余弦精确率@1
    • 类型：余弦精确率@3 值：0.1849051008303677 名称：余弦精确率@3
    • 类型：余弦精确率@5 值：0.16321174377224199 名称：余弦精确率@5
    • 类型：余弦精确率@10 值：0.098932384341637 名称：余弦精确率@10
    • 类型：余弦召回率@1 值：0.19750889679715303 名称：余弦召回率@1
    • 类型：余弦召回率@3 值：0.5547153024911032 名称：余弦召回率@3
    • 类型：余弦召回率@5 值：0.81605871886121 名称：余弦召回率@5
    • 类型：余弦召回率@10 值：0.9893238434163701 名称：余弦召回率@10
    • 类型：余弦归一化折损累积增益@10 值：0.5663698287874538 名称：余弦归一化折损累积增益@10
    • 类型：余弦平均倒数排名@10 值：0.43265442297915546 名称：余弦平均倒数排名@10
    • 类型：余弦平均精度@100 值：0.433292401944685 名称：余弦平均精度@100

nomic-ai/nomic-embed-text-v1.5

这是一个基于nomic-ai/nomic-embed-text-v1.5在sci_topic_triplets数据集上微调的sentence-transformers模型。它将句子和段落映射到768维的密集向量空间，可用于语义文本相似性、语义搜索、释义挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型： 句子转换器
• 基础模型： nomic-ai/nomic-embed-text-v1.5
• 最大序列长度： 8192个标记
• 输出维度： 768维
• 相似性函数： 余弦相似性
• 训练数据集：
  • sci_topic_triplets
• 语言： 英语
• 许可证： apache-2.0

模型来源

• 文档： 句子转换器文档
• 仓库： GitHub上的句子转换器
• Hugging Face： Hugging Face上的句子转换器

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NomicBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

使用方式

直接使用（句子转换器）

首先安装句子转换器库：

pip install -U sentence-transformers

然后可以加载此模型并运行推理。

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("Corran/SciTopicNomicEmbed")
# 运行推理
sentences = [
    'IANA工作组（2021年）基于先前的研究，表明较慢的步速与老年人不良后果风险增加相关（Levine等人，2015年；Schoenfeld等人，2016年）。',
    '作为社区老年人不良后果预测指标的常规步速：国际营养与老龄化学会（IANA）工作组',
    '引用其他作者的观点或立场',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入的相似性分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

评估

指标

信息检索

• 数据集：SciGen-Eval-Set
• 使用InformationRetrievalEvaluator评估

训练详情

训练数据集

sci_topic_triplets

• 数据集：sci_topic_triplets at 8bf9936
• 大小：35,964个训练样本
• 列：query, positive, 和 negative
• 基于前1000个样本的近似统计：

  	query	positive	negative
  类型	字符串	字符串	字符串
  详情	最小：17个标记 平均：40.37个标记 最大：93个标记	最小：5个标记 平均：18.75个标记 最大：56个标记	最小：5个标记 平均：10.74个标记 最大：23个标记

• 样本：

  query	positive	negative
  本研究提供了1980年至2015年间249种死因和195个国家和地区的预期寿命、全因死亡率和死因别死亡率的全面估计，有助于详细了解过去四十年的全球健康趋势和模式。	全球、区域和国家预期寿命、全因死亡率和249种死因别死亡率，1980-2015年：2015年全球疾病负担研究的系统分析	解释当前研究的意义
  本文使用计量经济学方法探讨了股票名义超额收益的期望值与波动率之间的关系。	关于股票名义超额收益期望值与波动率之间的关系	陈述短文的重点、目标或论点
  尽管审计委员会和董事会在减轻盈余管理中的作用日益受到关注，但多项研究报告了不确定甚至负面的发现。	审计委员会、董事会特征与盈余管理	对先前研究或学术的一般引用：突出负面结果

• 损失函数：MatryoshkaLoss 参数如下：

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          384,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

评估数据集

sci_topic_triplets

• 数据集：sci_topic_triplets at 8bf9936
• 大小：4,495个评估样本
• 列：query, positive, 和 negative
• 基于前1000个样本的近似统计：

  	query	positive	negative
  类型	字符串	字符串	字符串
  详情	最小：18个标记 平均：40.1个标记 最大：87个标记	最小：5个标记 平均：18.75个标记 最大：58个标记	最小：5个标记 平均：10.74个标记 最大：23个标记

• 样本：

  query	positive	negative
  在这项集群随机对照试验中，作者旨在评估引入医疗急救团队（MET）系统在减少急诊科响应时间和改善患者预后方面的有效性。	引入医疗急救团队（MET）系统：一项集群随机对照试验	引用的一些方式
  在我们研究的数据收集阶段，我们采用了调查和访谈作为研究方法。具体来说，我们对200名参与者进行了调查，并对10位关键行业专家进行了访谈，以收集关于管理科学实践各个方面的比例数据。	研究方法：初学者逐步指南	调查和访谈：报告比例
  详细讨论了几种基于密度泛函理论（DFT）的化学反应性指标，如福井函数和亲电亲核指数，以预测化学反应性。	密度泛函理论中的化学反应性指标	对相关文献的一般评论

• 损失函数：MatryoshkaLoss 参数如下：

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          384,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 256
• per_device_eval_batch_size: 256
• learning_rate: 2e-05
• num_train_epochs: 10
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True

训练日志

框架版本

• Python: 3.11.11
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

引用

BibTeX

句子转换器

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}