标签:

• 句子转换器
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小:1424
• 损失函数:对比损失 基础模型: sentence-transformers/all-MiniLM-L6-v2 小部件:
• 源句: 美式英语发音难点 句子:
  • 通用
  • 数据科学
  • 数据科学
• 源句: 移动机器人控制 句子:
  • 数据科学
  • 编程
  • 通用
• 源句: 商业智能数据仓库 句子:
  • 人工智能
  • 通用
  • Python
• 源句: 现代艺术与理念 句子:
  • 人工智能
  • 商业
  • 统计学
• 源句: '机器学习数学：主成分分析' 句子:
  • 统计学
  • 通用
  • 网络安全 管道标签: 句子相似度 库名称: sentence-transformers

基于sentence-transformers/all-MiniLM-L6-v2的SentenceTransformer模型

这是一个从sentence-transformers/all-MiniLM-L6-v2微调而来的sentence-transformers模型。它能将句子和段落映射到384维的密集向量空间，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: sentence-transformers/all-MiniLM-L6-v2
• 最大序列长度: 256个标记
• 输出维度: 384维
• 相似度函数: 余弦相似度

模型来源

• 文档: 句子转换器文档
• 代码库: GitHub上的句子转换器
• Hugging Face: Hugging Face上的句子转换器

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用方法

直接使用（句子转换器）

首先安装句子转换器库：

pip install -U sentence-transformers

然后加载模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("sentence_transformers_model_id")
# 运行推理
sentences = [
    '机器学习数学：主成分分析',
    '网络安全',
    '通用',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

训练详情

训练数据集

未命名数据集

• 大小: 1,424个训练样本
• 列: sentence_0, sentence_1, 和 label
• 基于前1000个样本的近似统计:

  	sentence_0	sentence_1	label
  类型	字符串	字符串	整数
  详情	最小: 3个标记 平均: 8.99个标记 最大: 41个标记	最小: 3个标记 平均: 3.41个标记 最大: 6个标记	0: ~49.70% 1: ~50.30%

• 样本:

  sentence_0	sentence_1	label
  公共卫生生物统计学	统计学	1
  生命体征：理解身体告诉我们的信息	数据科学	0
  项目管理卓越之路	网络安全	0

• 损失函数: 对比损失 参数如下:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

训练超参数

非默认超参数

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

框架版本

• Python: 3.12.7
• Sentence Transformers: 3.4.1
• Transformers: 4.49.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

引用

BibTeX

句子转换器

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

对比损失

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}