pipeline_tag: 句子相似度 tags:

• sentence-transformers
• 特征提取
• 句子相似度 language: 英文 datasets:
• quora
• embedding-data/WikiAnswers
• flax-sentence-embeddings/stackexchange_xml license: cc-by-nc-sa-4.0

专为问题聚类优化的all-mpnet-base-v2模型

这是一个sentence-transformers模型：能够将句子和段落映射到768维稠密向量空间，适用于聚类或语义搜索等任务。

该模型命名为all-mpnet-base-questions-clustering-en，是基于Sentence Transformers专门针对问题聚类任务微调的版本。通过融合Quora、WikiAnswer和StackExchange三大公开数据集，显著提升了模型在识别语义相似问题方面的表现。

使用方法（Sentence-Transformers）

安装sentence-transformers后即可轻松使用：

pip install -U sentence-transformers

使用示例：

from sentence_transformers import SentenceTransformer
sentences = ["这是一个示例句子", "每个句子都会被转换"]

model = SentenceTransformer('aiknowyou/all-mpnet-base-questions-clustering-en')
embeddings = model.encode(sentences)
print(embeddings)

评估结果

模型在WikiAnswer测试集上的评估表现如下：

[ { "epoch": 1, "余弦相似度准确率": 0.9931843415744172, "余弦相似度阈值": 0.35143423080444336, "余弦相似度F1": 0.9897547191636324, "余弦相似度精确率": 0.9913437348280885, "余弦相似度召回率": 0.9881707893839572, "曼哈顿距离准确率": 0.9934042015236294, "曼哈顿距离阈值": 24.160316467285156, "曼哈顿距离F1": 0.9900818249442103, "欧氏距离准确率": 0.9931843415744172, "欧氏距离阈值": 1.1389167308807373, "点积准确率": 0.9931843415744172, "点积阈值": 0.35143429040908813 } ]

可通过Sentence Embeddings Benchmark进行自动化评估

训练细节

训练参数：

• 批量大小：32
• 损失函数：多重负例排序损失（缩放系数20.0，相似度计算采用余弦相似度）
• 优化器：AdamW（学习率2e-05）
• 训练轮次：2
• 预热步数：1000
• 权重衰减：0.01

模型架构

SentenceTransformer(
  (0): Transformer({'最大序列长度': 384, '是否转小写': False}) 基于MPNetModel架构
  (1): Pooling({
    '词嵌入维度': 768, 
    '是否使用CLS标记': False,
    '是否使用均值池化': True
  })
  (2): Normalize()
)

贡献者

感谢@tradicio添加此模型

许可协议

本作品采用知识共享署名-非商业性使用-相同方式共享4.0国际许可协议