语言:

• 英文 标签:
• 句子转换器
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小:101762
• 损失函数:三元组损失 基础模型: google-bert/bert-base-uncased 示例:
• 源句: 为什么我仍然害怕黑暗？ 对比句:
  • 什么单一改变能改变一生？
  • 为什么我们会有阴暗面？
  • 为什么人类会害怕黑暗？
• 源句: 第一次发生性关系时你感觉如何？ 对比句:
  • 伪君子是什么意思？
  • 第一次性交是什么感觉？
  • 第一次接受肛交是什么感觉？
• 源句: 成年人每晚真正需要多少睡眠？ 对比句:
  • 表演型人格障碍对你来说身体上是什么感觉？
  • 我们每天应该睡多少小时？
  • 你如何每天睡7小时？
• 源句: 如何从零开始学习英语？ 对比句:
  • 我为什么要学英语？
  • 如何在Quora上提问？
  • 我该如何学习英语？
• 源句: 忘记密码如何打开电脑？ 对比句:
  • 我的州ID号是多少？
  • 我忘记了诺基亚206的安全码怎么解锁？
  • 我忘记电脑密码该怎么办？ 数据集:
• embedding-data/QQP_triplets 任务类型: 句子相似度 库名称: sentence-transformers 评估指标:
• 余弦准确率 模型索引:
• 名称: 基于google-bert/bert-base-uncased的SentenceTransformer 结果:
  • 任务: 类型: 三元组 名称: 三元组 数据集: 名称: sentest 类型: sentest 指标:
    • 类型: 余弦准确率 值: 0.9882572889328003 名称: 余弦准确率

基于google-bert/bert-base-uncased的SentenceTransformer

这是从google-bert/bert-base-uncased在qqp_triplets数据集上微调的sentence-transformers模型。它将句子和段落映射到768维密集向量空间，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: google-bert/bert-base-uncased
• 最大序列长度: 512个标记
• 输出维度: 768维
• 相似度函数: 余弦相似度
• 训练数据集:
  • qqp_triplets
• 语言: 英文

模型来源

• 文档: Sentence Transformers文档
• 代码库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

使用方式

直接使用(Sentence Transformers)

首先安装Sentence Transformers库:

pip install -U sentence-transformers

然后可以加载此模型并运行推理。

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("palusi/sentest")
# 运行推理
sentences = [
    '忘记密码如何打开电脑？',
    '我忘记电脑密码该怎么办？',
    '我忘记了诺基亚206的安全码怎么解锁？',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

评估

指标

三元组

• 数据集: sentest
• 使用TripletEvaluator评估

训练详情

训练数据集

qqp_triplets

• 数据集: qqp_triplets 版本 f475d9c
• 大小: 101,762个训练样本
• 列: anchor, positive, 和 negative
• 基于前1000个样本的近似统计:

  	anchor	positive	negative
  类型	字符串	字符串	字符串
  详情	最小: 6个标记 平均: 13.96个标记 最大: 54个标记	最小: 5个标记 平均: 13.99个标记 最大: 52个标记	最小: 6个标记 平均: 14.49个标记 最大: 73个标记

• 样本:

  anchor	positive	negative
  Mona Punjabi是谁？	Mona punjabis是谁？	为什么旁遮普人如此以他们的旁遮普身份为傲？
  比尔·盖茨有哪些最好的书/关于他的书？	比尔·盖茨最好的书有哪些？	有没有关于比尔·盖茨的电影？
  班加罗尔哪里能吃到最好的意大利面？	班加罗尔哪里能吃到最好的意大利面？	班加罗尔哪里能吃到最好的街头食品？

• 损失函数: 使用以下参数的TripletLoss:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

训练超参数

非默认超参数

• eval_strategy: 按步骤
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: 是
• load_best_model_at_end: 是
• push_to_hub: 是
• hub_model_id: palusi/sentest
• batch_sampler: 无重复

训练日志

• 加粗行表示保存的检查点。

框架版本

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.2
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

三元组损失

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}