标签:

• 句子转换器
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小:6010
• 损失函数:三元组损失 基础模型: sentence-transformers/all-mpnet-base-v2 微件示例:
• 源句: 炒蛋白 对比句:
  • 冷冻切片甜味桃子
  • 蛋白替代品Loprofin
  • 柠檬角（通常作为装饰）
• 源句: 咸饼干 对比句:
  • 咸饼干
  • 全麦咸饼干
  • Loprofin环形饼干
• 源句: 玉米片谷物 对比句:
  • 全麦软质小麦粉
  • Ralston玉米片谷物
  • 高粱谷物
• 源句: 水牛城辣鸡翅配芹菜 对比句:
  • 焦糖爆米花（含玉米蛋白质，注意分量）
  • 辣味是拉差辣椒酱
  • 是拉差辣椒酱
• 源句: 桶装轻质人造黄油 对比句:
  • 橄榄油
  • Smart Balance轻质黄油涂抹酱
  • 炒黄洋葱 任务类型: 句子相似度 库名称: sentence-transformers

基于sentence-transformers/all-mpnet-base-v2的SentenceTransformer模型

这是从sentence-transformers/all-mpnet-base-v2微调而来的sentence-transformers模型。它将句子和段落映射到768维稠密向量空间，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: sentence-transformers/all-mpnet-base-v2
• 最大序列长度: 384个标记
• 输出维度: 768维
• 相似度函数: 余弦相似度

模型来源

• 文档: Sentence Transformers文档
• 代码库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 384, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用方式

直接使用（Sentence Transformers库）

首先安装Sentence Transformers库：

pip install -U sentence-transformers

然后加载模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("sentence_transformers_model_id")
# 运行推理
sentences = [
    '桶装轻质人造黄油',
    'Smart Balance轻质黄油涂抹酱',
    '橄榄油',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

训练详情

训练数据集

未命名数据集

• 大小: 6,010个训练样本
• 列: sentence_0, sentence_1, 和 sentence_2
• 基于前1000个样本的近似统计:

  	sentence_0	sentence_1	sentence_2
  类型	字符串	字符串	字符串
  详情	最小: 3个标记 平均: 9.03个标记 最大: 30个标记	最小: 3个标记 平均: 9.62个标记 最大: 30个标记	最小: 4个标记 平均: 10.11个标记 最大: 23个标记

• 样本示例:

  sentence_0	sentence_1	sentence_2
  实验性青香蕉粉"肉"	实验性青香蕉粉"肉"	油炸面粉裹鸡腿（含皮肉）
  胡萝卜姜汤	秘密花园的胡萝卜花椰菜汤	罐装奶油土豆汤（含牛奶）
  2%牛奶	2%牛奶	全脂牛奶（3.25%乳脂，未添加维生素）

• 损失函数: 三元组损失 参数:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

训练超参数

非默认超参数

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

完整超参数列表

训练日志

框架版本

• Python: 3.11.3
• Sentence Transformers: 3.3.1
• Transformers: 4.48.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

引用文献

BibTeX格式

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

三元组损失

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}