基础模型: snunlp/KR-Medium-extended 数据集: [] 语言: [] 库名称: sentence-transformers 任务标签: 句子相似度 标签:

• sentence-transformers
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小:1795000
• 损失函数:MultipleNegativesRankingLoss 示例:
• 源句子: 本发明涉及用于评估免疫衰老的生物标志物测量的免疫衰老评估组合物及试剂盒。 对比句:
  • 根据本发明一个实施例的采用多层分析算法的宠物排泄检测试剂盒，其包含检测试纸，该试纸一面涂布有检测宠物体液的指示剂，通过指示剂颜色变化检测检测项目。
  • 根据本发明一个实施例的，由OCT设备执行的二次电池排列状态检测方法包括：(a)向二次电池至少一侧照射OCT设备的光线并收集反射光；(b)基于收集光获取的OCT图像识别电池内部电极板边缘；(c)通过比较各边缘位置判断电极板间排列状态。
  • 本发明涉及用于评估免疫衰老的生物标志物测量的免疫衰老评估组合物及试剂盒，该组合物及试剂盒通过测量淋巴细胞标志物表达水平可快速准确评估免疫衰老，基于评估结果可系统管理免疫力，进而预防免疫力衰老和免疫反应异常以促进健康。
• 源句子: 相关申请的交叉引用 对比句:
  • 涉及回程系统中信道建立技术，作为回程系统基站操作方法包括：接收回程站发送的参考信号测量信道状态；向回程站发送测量结果；发送需求容量请求数据信道资源分配；接收回程站基于需求容量和信道状态分配的资源信息。
  • 本公开各种实施方式总体涉及无线通信。某些实施方式中，用户设备(UE)可能接收显示与侧链通信关联资源池多个资源的信息。UE可识别资源池中包含的多个资源中的资源集，其中识别基于多个资源中一个以上资源是子带池双工资源。UE可使用资源集中至少部分在资源池上通信。描述多个其他实施方式。
  • 本发明涉及使用食用昆虫制作的酱类及其制备方法。
• 源句子: 本发明涉及线束保护器，更具体地涉及保护器主体与盖子的锁定部分不外露的隐藏式锁定结构。 对比句:
  • '本发明旨在提供抗扭曲且盖子不脱落、质量提升的保护器隐藏锁定结构，包含：下端开口的管状主体，侧面下端突出形成锁定钩；沿主体长度方向延伸覆盖开口面的盖子，边缘形成与主体锁定钩组装的锁定导槽；锁定导槽采用与锁定钩内外侧面对应的双重结构，内侧或外侧导槽突出形成与锁定钩啮合的锁定凸起；主体锁定钩前后下端切割形成切割部间锁定片，锁定钩形成于锁定片上。'
  • 本公开内容涉及包含一个以上识别分子集的分子条形码。公开了使用分子条形码如物质分类的方法。公开了分子条形码制备方法及使用系统。
  • 本发明提供的进出口货物物流通关中介方法包括：注册进口物流通关投标形成投标卡的投标注册步骤；为注册投标卡分配有限数量投标槽的投标槽分配步骤；电子接收进口物流通关企业投标，按时间顺序参与有限数量投标槽的限制性投标接收步骤。
• 源句子: 本发明涉及溢油回收装置，更具体地涉及通过可拆卸结构的溢油吸附部适应不同海洋环境条件和溢油类型的回收装置。 对比句:
  • 本发明涉及加热装置，其通过在壳体内设置的加热器采用锯齿形或网格排列结构增大传热面积，大幅提高空气加热效率，用于电热毯。一个实施例中，电热毯加热装置通过加热空气循环管路连接电热毯，由毯控制器操作，包含：连接管路的进气口和出气口的壳体；壳体内设置的锯齿排列加热器；测量加热空气温度的温度传感器；根据过热情况切断电源的双金属片。
  • 本发明一个实施例的溢油回收装置包含：提供浮力漂浮海面并分离海水与溢油的混合液的主体部；连接主体部存储回收溢油的存储部；主体部包括：形成进水空间的海水入口；连通入口分离溢油的分离部；接收分离油品输送至存储部的临时存储部。
  • 公开了在不中断管道流体流动情况下通过旁路进行管道维护的三通阀，该阀可顺畅旋转阀箱选择开启旁路流路，同时显著提升阀箱密封性能。
• 源句子: 本发明涉及溢油回收装置，更具体地涉及通过可拆卸结构的溢油吸附部适应不同海洋环境条件和溢油类型的回收装置。 对比句:
  • 本发明涉及风力发电机发电量增加装置，包含：底部固定的支柱；支柱旋转轴上水平旋转的基座，后方上端设发电部；基座上端前方设引导管，其直径向后渐缩；引导管后方区域设覆盖发电部前端的锥形盖；引导管上下端各设一对调节叶片，通过侧风压改变引导管与基座的水平旋转角度。
  • 本发明使冷却介质通过或阻断特定流通路径，同时利用流动改善密封性能的多通阀装置。
  • 本发明一个实施例的溢油回收装置包含：提供浮力漂浮海面并分离海水与溢油的混合液的主体部；连接主体部存储回收溢油的存储部；主体部包括：形成进水空间的海水入口；连通入口分离溢油的分离部；接收分离油品输送至存储部的临时存储部。

基于snunlp/KR-Medium-extended的SentenceTransformer模型

这是从snunlp/KR-Medium-extended微调而来的sentence-transformers模型，在korpat-triplet数据集上训练。它将句子和段落映射到768维密集向量空间，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: snunlp/KR-Medium-extended
• 最大序列长度: 512个标记
• 输出维度: 768维
• 相似度函数: 余弦相似度
• 训练数据集: korpat-triplet

模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

使用方式

直接使用(Sentence Transformers)

首先安装库：

pip install -U sentence-transformers

然后加载模型进行推理：

from sentence_transformers import SentenceTransformer

# 从Hub下载
model = SentenceTransformer("snunlp/KR-SBERT-Medium-extended-patent2024-hn")
# 推理示例
sentences = [
    '本发明涉及溢油回收装置，更具体地涉及通过可拆卸结构的溢油吸附部适应不同海洋环境条件和溢油类型的回收装置。',
    '本发明一个实施例的溢油回收装置包含：提供浮力漂浮海面并分离海水与溢油的混合液的主体部；连接主体部存储回收溢油的存储部；主体部包括：形成进水空间的海水入口；连通入口分离溢油的分离部；接收分离油品输送至存储部的临时存储部。',
    '本发明使冷却介质通过或阻断特定流通路径，同时利用流动改善密封性能的多通阀装置。'
]
embeddings = model.encode(sentences)
print(embeddings.shape)  # [3, 768]

# 获取相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)  # [3, 3]

训练详情

训练数据集

korpat-triplet

• 数据集: korpat-triplet
• 大小: 1,795,000训练样本
• 列: anchor, positive, negative
• 损失函数: MultipleNegativesRankingLoss，参数为：

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

训练超参数

• 每设备训练批量大小: 128
• 每设备评估批量大小: 128
• 预热比例: 0.1
• 混合精度训练: True

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}