流水线标签：句子相似度

标签：

• 句子转换器
• 特征提取
• 句子相似度

多问答_v1-distilbert-均值余弦模型

模型描述

SentenceTransformers 是一套模型和框架，能够从给定数据中训练并生成句子嵌入。生成的句子嵌入可用于聚类、语义搜索等任务。我们使用了预训练的 distilbert-base-uncased 模型，并通过孪生网络设置和对比学习目标进行训练。训练数据来自 StackExchange 的问答对，以使模型对问答嵌入相似性具有鲁棒性。本模型采用隐藏状态的均值池化作为句子嵌入。

该模型是在 Hugging Face 组织的 使用 JAX/Flax 进行 NLP 和 CV 的社区周 期间开发的。我们作为 用 10 亿训练对训练最佳句子嵌入模型 项目的一部分开发了此模型。我们受益于高效的硬件基础设施（7 个 TPU v3-8）以及 Google Flax、JAX 和云团队关于高效深度学习框架的协助。

预期用途

本模型旨在作为搜索引擎的句子编码器。输入一个句子后，它会输出一个捕捉句子语义信息的向量。该句子向量可用于语义搜索、聚类或句子相似度任务。

使用方法

以下是使用 SentenceTransformers 库获取给定文本特征的示例：

from sentence_transformers import SentenceTransformer  

model = SentenceTransformer('flax-sentence-embeddings/multi-qa_v1-distilbert-mean_cos')  
text = "替换为任意你想要的问答内容。"  
text_embedding = model.encode(text)  
# 输出示例：array([-0.01559514, 0.04046123, 0.1317083, 0.00085931, 0.04585106,  
#        -0.05607086, 0.0138078, 0.03569756, 0.01420381, 0.04266302 ...],  
#        dtype=float32)  

训练流程

预训练

我们使用了预训练的 distilbert-base-uncased 模型。更多预训练细节请参考原模型卡。

微调

我们通过对比目标微调模型。具体而言，计算批次中所有可能句子对的余弦相似度，并通过与真实对比较应用交叉熵损失。

超参数

模型在 TPU v3-8 上训练了 8 万步，批次大小为 1024（每个 TPU 核心 128）。采用 500 步的学习率预热，序列长度限制为 128 个词元。使用 AdamW 优化器，学习率为 2e-5。完整训练脚本可在当前仓库中查看。

训练数据

我们通过合并多个 Stackexchange 问答数据集进行微调，同时使用了 MSMARCO、NQ 等其他问答数据集。