pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度

multi-qa_v1-MiniLM-L6-cls_dot

模型描述

SentenceTransformers 是一组模型和框架，能够从给定数据中训练并生成句子嵌入。生成的句子嵌入可用于聚类、语义搜索等任务。我们使用了预训练的 nreimers/MiniLM-L6-H384-uncased 模型，并通过连体网络设置和对比学习目标进行训练。训练数据采用了来自 StackExchange 的问答对，以使模型对问题/答案的嵌入相似性具有鲁棒性。该模型使用 cls 输出而非均值池化作为句子嵌入，并采用点积计算相似度作为学习目标。

此模型是在 Hugging Face 组织的 使用 JAX/Flax 进行 NLP 和 CV 的社区周 期间开发的。作为项目 用 10 亿训练对训练最佳句子嵌入模型 的一部分，我们得益于高效的硬件基础设施：7 个 TPU v3-8，以及来自 Google Flax、JAX 和云团队关于高效深度学习框架的支持。

预期用途

本模型旨在作为搜索引擎的句子编码器使用。给定输入句子，它将输出一个捕捉句子语义信息的向量。该句子向量可用于语义搜索、聚类或句子相似度任务。

使用方法

以下是使用 SentenceTransformers 库获取给定文本特征的示例：

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/multi-qa_v1-MiniLM-L6-cls_dot')
text = "替换为任意你想要的问答内容。"
text_embbedding = model.encode(text)
# 输出示例: array([-0.01559514,  0.04046123,  0.1317083 ,  0.00085931,  0.04585106,
#        -0.05607086,  0.0138078 ,  0.03569756,  0.01420381,  0.04266302 ...],
#        dtype=float32)

训练流程

预训练阶段

我们使用了预训练的 nreimers/MiniLM-L6-H384-uncased 模型。预训练流程的详细信息请参阅该模型卡。

微调阶段

我们采用对比目标进行微调。具体而言，计算批次中所有可能句子对的余弦相似度，并通过与真实对比较应用交叉熵损失。

超参数配置

模型在 TPU v3-8 上训练了 8 万步，批次大小为 1024（每个 TPU 核心 128）。采用 500 步的学习率预热，序列长度限制为 128 个词符。使用 AdamW 优化器，学习率为 2e-5。完整训练脚本可在当前仓库获取。

训练数据

我们通过合并多个 Stackexchange 问答数据集进行微调，同时使用了 MSMARCO、NQ 等其他问答数据集。