标签:
任务类型: 句子相似度
库名称: 句子转换器
基于BAAI/bge-m3的SentenceTransformer模型
这是一个从BAAI/bge-m3微调而来的sentence-transformers模型。它将句子和段落映射到1024维稠密向量空间,可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。
模型详情
模型描述
- 模型类型: 句子转换器
- 基础模型: BAAI/bge-m3
- 最大序列长度: 8192个标记
- 输出维度: 1024维
- 相似度计算: 余弦相似度
模型来源
完整模型架构
SentenceTransformer(
(0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
使用方式
直接使用(Sentence Transformers)
首先安装库:
pip install -U sentence-transformers
然后加载模型并推理:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("BlackBeenie/bge-m3-msmarco-v3-sbert")
sentences = [
'克里斯托弗·凯尔是谁',
'克里斯·凯尔——美国狙击手。克里斯托弗·斯科特·凯尔生于德州,1999至2009年服役于美国海豹突击队。他被视为美军史上最成功的狙击手,其著作《美国狙击手》记载160次确认击杀(自称255次)。',
"'美国狙击手'克里斯·凯尔遗孀感谢观众'观看艰难内容'。塔雅·凯尔表达了对观众支持这部关于其亡夫——由布莱德利·库珀饰演的海豹突击队员克里斯·凯尔影片的感激之情。",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
训练详情
训练数据集
未命名数据集
训练超参数
非默认超参数
eval_strategy
: steps
per_device_train_batch_size
: 32
per_device_eval_batch_size
: 32
num_train_epochs
: 5
fp16
: True
multi_dataset_batch_sampler
: round_robin
框架版本
- Python: 3.11.11
- Sentence Transformers: 3.4.1
- Transformers: 4.48.3
- PyTorch: 2.5.1+cu124
- Accelerate: 1.3.0
- Datasets: 3.3.2
- Tokenizers: 0.21.0
引用
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MultipleNegativesRankingLoss
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}