pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度 language: 英文

模型描述

该项目旨在通过自监督对比学习目标，在超大规模句子级数据集上训练句子嵌入模型。我们基于预训练的'mpnet-base'模型，在7亿句对数据集上进行微调。采用对比学习目标：给定句对中的一个句子，模型需从随机采样的负例句子集中预测出真实配对句。

本模型开发于Hugging Face组织的使用JAX/Flax进行NLP与CV社区周活动期间，属于用10亿训练对打造最佳句子嵌入模型项目。项目运行得益于7块TPU v3-8的硬件支持，以及Google Flax、JAX和云团队关于高效深度学习框架的技术指导。

用途说明

本模型设计为句子编码器使用。输入句子后，可输出蕴含语义信息的向量表示。该句子向量可用于信息检索、聚类或句子相似度计算等任务。

使用方法

通过SentenceTransformers库获取文本特征的示例：

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/reddit_single-context_mpnet-base')
text = "替换为任意文本"
text_embbedding = model.encode(text)
# 输出示例：array([-0.01559514, 0.04046123, 0.1317083 , ...], dtype=float32)

训练流程

预训练阶段

采用'mpnet-base'预训练模型，具体预训练细节请参阅原模型卡片。

微调阶段

使用对比目标进行微调：计算批次内所有可能句对的余弦相似度，通过交叉熵损失函数与真实配对进行对比优化。

超参数配置

• 硬件环境：TPU v3-8集群
• 训练步数：540,000步
• 批次大小：1024（单TPU核心128）
• 学习率：2e-5（500步预热）
• 序列长度：128个token
• 优化器：AdamW
完整训练脚本详见本仓库。

训练数据

整合多个数据集构成超过7亿句对的训练集，通过data_config.json配置加权采样策略。仅使用对话中的首轮上下文响应构建样本。