基础模型: answerdotai/ModernBERT-base
数据集:

• sentence-transformers/stsb
  语言:
• en
  库名称: sentence-transformers
  评估指标:
• pearson_cosine
• spearman_cosine
  任务标签: sentence-similarity
  标签:
• sentence-transformers
• sentence-similarity
• feature-extraction
• generated_from_trainer
• 数据集大小:5749
• 损失函数:CoSENTLoss

示例输入:

• 源句: "男子通过网络摄像头与女孩交谈。"
  对比句:
  • "一群老人在餐桌旁合影。"
  • "青少年通过网络摄像头与女孩交谈。"
  • "不存在与其他物体无关的'静止'。"
• 源句: "一名女子正在写字。"
  对比句:
  • "两只鹰栖息在树枝上。"
  • "它指的是最大光圈值（定义为焦距与有效孔径直径之比）。"
  • "一名女子正在切青葱。"

模型索引:

• 名称: 基于answerdotai/ModernBERT-base的SentenceTransformer
  结果:
  • 任务:
    类型: 语义相似度
    名称: 语义相似度
    数据集:
    名称: sts开发集
    类型: sts-dev
    指标:
    • 类型: pearson_cosine
      值: 0.8824044527932291
      名称: 皮尔逊余弦
    • 类型: spearman_cosine
      值: 0.8877120731943559
      名称: 斯皮尔曼余弦

基于answerdotai/ModernBERT-base的SentenceTransformer模型

这是基于answerdotai/ModernBERT-base模型在stsb数据集上微调的sentence-transformers模型。它将句子和段落映射到768维密集向量空间，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: answerdotai/ModernBERT-base
• 最大序列长度: 8192个token
• 输出维度: 768维
• 相似度函数: 余弦相似度
• 训练数据集:
  • stsb
• 语言: 英语

模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

使用方法

直接使用（Sentence Transformers库）

首先安装Sentence Transformers库：

pip install -U sentence-transformers

然后加载模型并运行推理：

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("nickprock/ModernBERT-base-sts")
# 运行推理
sentences = [
    '虽然Queen可以指女王摄政（君主）或王后配偶，但国王始终是君主。',
    '有一个很好的理由不将女王的配偶称为"国王"——因为他们不是国王。',
    '一个男人坐在房间的地板上弹吉他。',
]
embeddings = model.encode(sentences)
print(embeddings.shape)  # [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)  # [3, 3]

评估结果

语义相似度指标

• 数据集: sts-dev和sts-test
• 使用EmbeddingSimilarityEvaluator评估

训练详情

训练数据集

stsb

• 数据集: stsb
• 样本数: 5,749条训练样本
• 损失函数: CoSENTLoss

训练超参数

• 每设备训练批量大小: 16
• 每设备评估批量大小: 16
• 训练轮数: 4
• 预热比例: 0.1
• 混合精度训练: True

引用

BibTeX引用

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}