pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度 language: en

模型描述

本项目旨在通过自监督对比学习目标，在超大规模句子级数据集上训练句子嵌入模型。我们基于预训练的'MiniLM-L6-H384-uncased'模型，在10亿句对数据集上进行微调。采用对比学习目标：给定句对中的一个句子，模型需从随机采样的负例句子集中预测出数据集中实际与之配对的句子。

该模型是在Hugging Face组织的使用JAX/Flax进行NLP与CV社区周活动中开发的。作为用10亿训练句对打造最佳句子嵌入模型项目的一部分，我们受益于高效硬件基础设施（7块TPU v3-8）以及Google Flax、JAX和云团队关于深度学习框架优化的技术支持。

用途说明

本模型设计用于句子编码。输入句子后，可输出蕴含语义信息的向量表示。该句子向量可用于信息检索、聚类或句子相似度计算等任务。

使用方法

通过SentenceTransformers库获取文本特征的示例：

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/all_datasets_v3_MiniLM-L6')
text = "输入任意文本替换此处"
text_embbedding = model.encode(text)
# 输出示例: array([-0.01559514,  0.04046123,  0.1317083 , ...], dtype=float32)

训练流程

预训练阶段

采用'MiniLM-L6-H384-uncased'预训练模型，该模型是'microsoft/MiniLM-L12-H384-uncased'的6层精简版（保留偶数层）。预训练细节详见模型卡片。

微调阶段

使用对比目标进行微调：计算批次内所有可能句对的余弦相似度，通过交叉熵损失函数与真实句对进行比较。

超参数配置

在TPU v3-8上训练54万步，批次大小为1024（每TPU核心128）。采用500步学习率预热，序列长度限制为128个token，使用AdamW优化器（学习率2e-5）。完整训练脚本参见本仓库。

训练数据

整合多源数据集构成超10亿句对训练集，各数据集采样权重配置见data_config.json文件。