标签:

• 句子转换器
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小:45
• 损失函数:多重负例排序损失 基础模型: BAAI/bge-base-en-v1.5 管道标签: 句子相似度 库名称: sentence-transformers

基于BAAI/bge-base-en-v1.5的SentenceTransformer模型

这是一个从BAAI/bge-base-en-v1.5微调而来的sentence-transformers模型。它能将句子和段落映射到768维的密集向量空间，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: BAAI/bge-base-en-v1.5
• 最大序列长度: 512个标记
• 输出维度: 768个标记
• 相似度函数: 余弦相似度

模型来源

• 文档: Sentence Transformers文档
• 代码库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': True}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用方法

直接使用(Sentence Transformers)

首先安装Sentence Transformers库:

pip install -U sentence-transformers

然后可以加载此模型并运行推理:

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("datasocietyco/bge-base-en-v1.5-course-recommender-v5")
# 运行推理
sentences = [
    '今天天气真好。',
    "外面阳光明媚!",
    '他开车去了体育场。',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

训练详情

训练数据集

未命名数据集

• 大小: 45个训练样本
• 列: anchor和positive
• 基于前45个样本的近似统计:

  	anchor	positive
  类型	字符串	字符串
  详情	最小: 143个标记 平均: 178.76个标记 最大: 258个标记	最小: 141个标记 平均: 176.76个标记 最大: 256个标记

评估数据集

未命名数据集

• 大小: 5个评估样本
• 列: anchor和positive
• 基于前5个样本的近似统计:

  	anchor	positive
  类型	字符串	字符串
  详情	最小: 167个标记 平均: 211.2个标记 最大: 272个标记	最小: 165个标记 平均: 209.2个标记 最大: 270个标记

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 3e-06
• max_steps: 24
• warmup_ratio: 0.1
• batch_sampler: no_duplicates

训练日志

框架版本

• Python: 3.12.8
• Sentence Transformers: 3.1.1
• Transformers: 4.45.2
• PyTorch: 2.2.2
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.20.3

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}