标签:

• 句子转换器

• 句子相似度

• 特征提取

• 训练生成

• 数据集大小:498970

• 损失函数:BPRLoss 基础模型: nomic-ai/nomic-embed-text-v2-moe 小部件示例:

• 源句: "2010年启动条约是什么" 对比句:

  • "战略进攻性武器削减: 美利坚合众国与俄罗斯联邦关于进一步削减和限制战略进攻性武器的措施条约，又称新START条约，于2011年2月5日生效。根据条约规定，美俄双方须在条约生效七年内（即2018年2月5日前）达到条约核心限制指标。缔约方可自主决定在条约总量限制范围内的战略力量结构。"
  • "核药房实践: 在经州或联邦机构批准处理放射性物质的持证核药房或医疗机构中，按实际服务时间计算学分，最高不超过4000小时。"
  • "签署日期:1979年6月18日。生效状态: 未生效；1991年被START I条约取代。有效期: 至1985年12月31日；除非被进一步限制战略进攻性武器的协议提前替代。缔约方: 苏联与美国。"

• 源句: "pez是单词吗" 对比句:

  • "从糖果盒到糖果本身，PEZ产品适合所有人群。可在当地零售商处选购PEZ系列产品。"
  • "PEZ最初于1927年在奥地利维也纳作为成人薄荷糖推出！PEZ名称取自德语单词'Pfefferminz'的首、中、尾字母组合。"
  • "布恩维尔是美国印第安纳州沃里克县布恩镇辖市，2010年人口普查显示该市有6246名居民，现为沃里克县治所。该市1818年建立，以拉特利夫·布恩之父杰西·布恩命名，自1820年起设立邮局，1858年正式建制。"

• 源句: "历任美国总统预算赤字" 对比句:

  • "报告指出，到2022年政府财政赤字将再次突破万亿美元。众议院预算委员会主席保罗·瑞安表示'我们仍有大量工作待完成'。报告显示，尽管经济复苏有所助益，但立法者在短期预算展望改善方面功不可没。"
  • "当犊牛3至4月龄时易感染黑腿病，因此所有犊牛应在4月龄前接种疫苗。根据产品说明，在首免后3至6周加强免疫可提供最佳保护。由于疫苗免疫或自然暴露获得的免疫力，黑腿病很少感染2岁以上牛只，但重复使用注射针头可能导致散发病例。"
  • "按此方法测算，奥巴马总统八年任期内预算赤字达7.3万亿美元，成为赤字最高的总统。小布什以3.29万亿美元赤字位列第二。"

• 源句: "什么是第六感" 对比句:

  • "1 超感官知觉（ESP），俗称第六感。2 平衡觉（身体平衡感）与本体感觉（肢体位置感），这是除常规五感外被广泛认可的生理感知系统。"
  • "釉料可指：1 冶金釉，金属表面形成的致密烧结氧化层；2 烹饪釉料，涂抹于食物表面的光亮甜味涂层；3 绘画釉彩，用介质稀释后呈现半透明效果的颜料层。"
  • "本体感觉定义：指贡献于自我位置和运动感知的感官信息。查尔斯·贝尔爵士将第六感定义为肢体位置与动作的感知能力（McCloskey 1978）。关节运动可激活关节、皮肤和肌肉中的感受器，这些感受器在肢体运动与关节角度感知控制中发挥作用。"

• 源句: "成人日托提供哪些服务" 对比句:

  • "2008年大都会人寿成人日间服务市场调查显示，成人日托服务日均费用为64美元，过去一年服务量增长5%。"
  • "长期护理消费者指南：成人日托是在团体环境中提供的计划性服务，旨在改善或维持老年人及残障人士的健康功能，并提供社交活动。"
  • "tackle与guard的词性差异：tackle指（航海）增加绳索末端作用力的滑轮系统，guard指守卫人员或防护装置。动词含义区别..."

流水线标签: 句子相似度 库名称: sentence-transformers

基于nomic-ai/nomic-embed-text-v2-moe的SentenceTransformer模型

这是从nomic-ai/nomic-embed-text-v2-moe微调的sentence-transformers模型。该模型将句子和段落映射到768维稠密向量空间，可用于语义文本相似度计算、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: nomic-ai/nomic-embed-text-v2-moe
• 最大序列长度: 8192个token
• 输出维度: 768维
• 相似度计算方式: 余弦相似度

模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NomicBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

使用方式

直接使用（Sentence Transformers库）

首先安装库：

pip install -U sentence-transformers

加载模型并推理：

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("BlackBeenie/nomic-embed-text-v2-moe-msmarco-bpr")
# 推理示例
sentences = [
    '成人日托提供哪些服务',
    '长期护理消费者指南：成人日托是在团体环境中提供的计划性服务，旨在改善或维持老年人及残障人士的健康功能，并提供社交活动。',
    '2008年大都会人寿成人日间服务市场调查显示，成人日托服务日均费用为64美元，过去一年服务量增长5%。',
]
embeddings = model.encode(sentences)
print(embeddings.shape)  # [3, 768]

# 计算相似度矩阵
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)  # [3, 3]

训练详情

训练数据集

• 数据集规模: 498,970个训练样本
• 列名: sentence_0, sentence_1, sentence_2
• 损失函数: beir.losses.bpr_loss.BPRLoss

训练超参数

• 评估策略: 按步评估
• 单设备训练批大小: 32
• 单设备评估批大小: 32
• 训练轮次: 5
• 混合精度训练: 启用(FP16)
• 多数据集批采样器: 轮询调度

框架版本

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.49.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}