pipeline_tag: 特征提取 tags:

• 句子转换器
• 特征提取
• 句子相似度 language: 英文 license: apache-2.0

all-mpnet-base-v2 克隆版

这是一个sentence-transformers模型：它能将句子和段落映射到768维的密集向量空间，可用于聚类或语义搜索等任务。

本模型与官方版本唯一区别在于修改了README.md中的pipeline_tag: feature-extraction字段。

使用方法（Sentence-Transformers）

安装sentence-transformers后即可轻松使用：

pip install -U sentence-transformers

使用示例：

from sentence_transformers import SentenceTransformer
sentences = ["这是一个示例句子", "每个句子都会被转换"]

model = SentenceTransformer('sentence-transformers/all-mpnet-base-v2')
embeddings = model.encode(sentences)
print(embeddings)

使用方法（HuggingFace Transformers）

若不使用sentence-transformers，可按以下方式操作：首先通过transformer模型处理输入，然后对上下文词嵌入执行正确的池化操作。

from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F

#均值池化-考虑注意力掩码进行正确平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] #模型输出的第一个元素包含所有词元嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)


# 待编码句子
sentences = ['这是一个示例句子', '每个句子都会被转换']

# 从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/all-mpnet-base-v2')
model = AutoModel.from_pretrained('sentence-transformers/all-mpnet-base-v2')

# 句子分词
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算词元嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 执行池化
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

# 嵌入向量归一化
sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)

print("句子嵌入向量：")
print(sentence_embeddings)

评估结果

自动化评估结果请参见句子嵌入基准测试：https://seb.sbert.net

背景

本项目旨在通过自监督对比学习目标，在超大规模句子级数据集上训练句子嵌入模型。我们基于预训练的microsoft/mpnet-base模型，在10亿句对数据集上进行微调。采用对比学习目标：给定句对中的一个句子，模型需从随机采样的负例中预测出真实配对句子。

该模型开发于Hugging Face组织的使用JAX/Flax进行NLP与CV的社区周活动期间，属于用10亿训练句对打造最佳句子嵌入模型项目。我们受益于高效的硬件基础设施（7块TPU v3-8）以及Google Flax、JAX和云团队关于高效深度学习框架的指导。

用途说明

本模型设计用于句子和短段落编码。输入文本后，可输出包含语义信息的向量。该句子向量可用于信息检索、聚类或句子相似度任务。

默认情况下，超过384个词片的输入文本会被截断。

训练流程

预训练阶段

使用预训练的microsoft/mpnet-base模型，预训练细节详见模型卡片。

微调阶段

采用对比目标进行微调。具体而言，我们计算批次内所有可能句对的余弦相似度，然后通过与真实句对比较应用交叉熵损失。

超参数配置

使用TPU v3-8进行训练，共10万步，批次大小为1024（每TPU核心128）。采用500步学习率预热，序列长度限制为128个词片。使用AdamW优化器，学习率2e-5。完整训练脚本见仓库中的train_script.py。

训练数据

通过合并多个数据集进行微调，总句对数量超过10亿。各数据集采样权重详见data_config.json文件。