语言:

• 英文 许可证: apache-2.0 标签:
• 句子转换器
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小:35934
• 损失函数:MatryoshkaLoss
• 损失函数:MultipleNegativesRankingLoss 基础模型: nomic-ai/nomic-embed-text-v1.5 小部件:
• 源句: 结合文献中的空白或问题阐述当前研究目的 句子:
  • 在为期15年的研究中，10%的无牙颌骨整合种植体显示出种植体周围炎的迹象，导致其失败。
  • 本文深入探讨了定性案例研究方法，解决了该领域新手研究者缺乏全面指导的问题。
  • 作为管理科学领域的新手研究者，我被定性案例研究方法所吸引，因为它能够为复杂的现实情况提供丰富、深入的见解。
• 源句: 指出缺失、薄弱或矛盾的证据 句子:
  • 本文通过使用全球金融危机期间美国银行的独特数据集，研究了银行规模、银行资本与银行信贷渠道之间的关系，为金融系统文献做出了贡献。
  • 根据美国风湿病学会的标准，共有150名临床诊断为髋关节或膝关节骨关节炎的患者被纳入研究。
  • 尽管WOMAC（西安大略和麦克马斯特大学骨关节炎指数）问卷在临床实践和研究中广泛使用，但对于其在髋关节或膝关节骨关节炎患者中对风湿病药物治疗反应的敏感性缺乏共识。
• 源句: 确立主题对世界或社会的重要性：给出时间框架 句子:
  • 如表1所示，英国第三纪火山省的玄武岩熔岩的Th/Hf比值范围为4.2至5.5。
  • 自2000年代末以来，有机金属卤化物钙钛矿作为光伏电池的可见光敏化剂，因其有前景的光伏性能和成本效益高的制造工艺，在光电子学界引起了广泛关注。
  • 表1总结了文献中报道的性能最佳的钙钛矿太阳能电池的功率转换效率（PCEs）和认证情况。
• 源句: 描述研究设计和使用的方法 句子:
  • 本研究旨在评估术前放疗后全直肠系膜切除术治疗可切除直肠癌的疗效和安全性。
  • 与传统的最大似然系统发育分析方法相比，TREE-PUZZLE的并行计算实现显著减少了所需时间，支持了先前关于并行化在系统发育学中重要性的发现。
  • 本研究调查了术前放疗后全直肠系膜切除术治疗可切除直肠癌的疗效。
• 源句: 调查和访谈：引入访谈数据摘录 句子:
  • 以往关于WTO体制下国际贸易的研究探索了理解贸易不均衡促进的各种方法（Hoekstra & Kostecki, 2001; Cline, 2004, ...）。
  • 通过调查和访谈，具备多元读写能力的教师表达了培养学生驾驭多种话语社区能力的重要性。
  • 作者采用建构主义学习方法，学生通过积极参与多媒体文本和协作讨论构建知识。 数据集:
• Corran/SciGenTriplets 流水线标签: 句子相似度 库名称: sentence-transformers 指标:
• 余弦准确率@1
• 余弦准确率@3
• 余弦准确率@5
• 余弦准确率@10
• 余弦精确率@1
• 余弦精确率@3
• 余弦精确率@5
• 余弦精确率@10
• 余弦召回率@1
• 余弦召回率@3
• 余弦召回率@5
• 余弦召回率@10
• 余弦归一化折损累积增益@10
• 余弦平均倒数排名@10
• 余弦平均精度@100 模型索引:
• 名称: sentence-transformers/static-retrieval-mrl-en-v1 结果:
  • 任务: 类型: 信息检索 名称: 信息检索 数据集: 名称: SciGen 评估集 类型: SciGen-Eval-Set 指标:
    • 类型: 余弦准确率@1 值: 0.9000445235975066 名称: 余弦准确率@1
    • 类型: 余弦准确率@3 值: 0.9452359750667854 名称: 余弦准确率@3
    • 类型: 余弦准确率@5 值: 0.9641585040071238 名称: 余弦准确率@5
    • 类型: 余弦准确率@10 值: 0.9853072128227961 名称: 余弦准确率@10
    • 类型: 余弦精确率@1 值: 0.9000445235975066 名称: 余弦精确率@1
    • 类型: 余弦精确率@3 值: 0.3150786583555951 名称: 余弦精确率@3
    • 类型: 余弦精确率@5 值: 0.19283170080142473 名称: 余弦精确率@5
    • 类型: 余弦精确率@10 值: 0.0985307212822796 名称: 余弦精确率@10
    • 类型: 余弦召回率@1 值: 0.9000445235975066 名称: 余弦召回率@1
    • 类型: 余弦召回率@3 值: 0.9452359750667854 名称: 余弦召回率@3
    • 类型: 余弦召回率@5 值: 0.9641585040071238 名称: 余弦召回率@5
    • 类型: 余弦召回率@10 值: 0.9853072128227961 名称: 余弦召回率@10
    • 类型: 余弦归一化折损累积增益@10 值: 0.941495085912059 名称: 余弦归一化折损累积增益@10
    • 类型: 余弦平均倒数排名@10 值: 0.9276217685055616 名称: 余弦平均倒数排名@10
    • 类型: 余弦平均精度@100 值: 0.9283906979180744 名称: 余弦平均精度@100

sentence-transformers/static-retrieval-mrl-en-v1

这是一个基于nomic-ai/nomic-embed-text-v1.5在sci_gen_colbert_triplets数据集上微调的sentence-transformers模型。它将学术文本中的句子映射到一个768维的密集向量空间，基于它们的修辞功能（总结结果、表达局限性等），可用于功能性文本相似性、局限性分析、修辞功能分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: nomic-ai/nomic-embed-text-v1.5
• 最大序列长度: 8192个标记
• 输出维度: 768维
• 相似性函数: 余弦相似度
• 训练数据集:
  • sci_gen_colbert_triplets
• 语言: 英文
• 许可证: apache-2.0

模型来源

• 文档: Sentence Transformers 文档
• 代码库: Sentence Transformers GitHub
• Hugging Face: Sentence Transformers on Hugging Face

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NomicBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

使用方法

直接使用（Sentence Transformers）

首先安装Sentence Transformers库：

pip install -U sentence-transformers

然后可以加载此模型并运行推理。

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("KaiserML/RhetoriBERT")
# 运行推理
sentences = [
    '调查和访谈：引入访谈数据摘录',
    "通过调查和访谈，具备多元读写能力的教师表达了培养学生驾驭多种话语社区能力的重要性。",
    '作者采用建构主义学习方法，学生通过积极参与多媒体文本和协作讨论构建知识。',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

评估

指标

信息检索

• 数据集: SciGen-Eval-Set
• 使用InformationRetrievalEvaluator评估

训练详情

训练数据集

sci_gen_colbert_triplets

• 数据集: sci_gen_colbert_triplets 版本 44071bd
• 大小: 35,934个训练样本
• 列: query, positive, 和 negative
• 基于前1000个样本的近似统计:

  	query	positive	negative
  类型	字符串	字符串	字符串
  详情	最小: 5个标记 平均: 10.24个标记 最大: 23个标记	最小: 2个标记 平均: 39.86个标记 最大: 80个标记	最小: 18个标记 平均: 40.41个标记 最大: 88个标记

• 样本:

  query	positive	negative
  以往研究：突出负面结果	尽管在劳动合同中广泛使用基于资历的工资制度，但以往研究强调了其负面结果，如效率低下和对工人的激励不足。	这篇发表于1974年的论文是最早确立排名顺序锦标赛作为微观经济学中最优劳动合同的重要性的论文之一。
  综合来源：对比证据或观点	尽管在白细胞介素-10缺陷小鼠中观察到慢性小肠结肠炎，但一些研究表明这种细胞因子在人类肠道炎症中起保护作用（Kurimoto et al., 2001）。	白细胞介素-10缺陷小鼠发展为慢性小肠结肠炎，其特征为炎症细胞浸润、上皮损伤和促炎细胞因子产生增加。
  以往研究：采取的方法	以往关于测量骨关节炎患者相关结果的研究主要依赖于自我报告的措施，如西安大略和麦克马斯特大学关节炎指数（WOMAC）（Bellamy et al., 1988）。	WOMAC（西安大略和麦克马斯特大学骨关节炎指数）问卷在物理治疗研究中广泛用于评估风湿病药物治疗对髋关节或膝关节骨关节炎患者报告结果的影响。

• 损失函数: MatryoshkaLoss 参数如下:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          384,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

评估数据集

sci_gen_colbert_triplets

• 数据集: sci_gen_colbert_triplets 版本 44071bd
• 大小: 4,492个评估样本
• 列: query, positive, 和 negative
• 基于前1000个样本的近似统计:

  	query	positive	negative
  类型	字符串	字符串	字符串
  详情	最小: 5个标记 平均: 10.23个标记 最大: 23个标记	最小: 18个标记 平均: 39.83个标记 最大: 84个标记	最小: 8个标记 平均: 39.89个标记 最大: 84个标记

• 样本:

  query	positive	negative
  提供背景信息：参考研究目的	本研究旨在调查社会经济地位对儿童发展的影响，特别关注认知、语言和社会情感领域。	来自高社会经济地位家庭的儿童在言语智商子测试中显示出显著高于低社会经济地位家庭儿童的智商分数（M = 112.5, SD = 5.6 vs. M = 104.3, SD = 6.2）。
  提供背景信息：参考文献	根据以往使用WinGX套件进行小分子单晶晶体学的研究，晶体结构的优化提高了确定原子坐标的准确性。	本文描述了WinGX套件，这是一个用于小分子单晶晶体学的强大工具，通过简化数据收集和分析显著推进了晶体学领域。
  对相关文献的一般评论	聚合物刷因其独特的性质，如可控厚度、高表面密度和可调的界面性质，在聚合物科学领域引起了广泛关注。	尽管以往报告表明，短接枝密度的聚合物刷在粘附性和稳定性方面表现较差（Liu et al., 2010），但我们的结果表明，对于某些类型的聚合物刷，情况恰恰相反。

• 损失函数: MatryoshkaLoss 参数如下:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          384,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 256
• per_device_eval_batch_size: 256
• learning_rate: 2e-05
• num_train_epochs: 10
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True

所有超参数

训练日志

框架版本

• Python: 3.11.11
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}