pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度
• 转换器
• 韩语
• 英语 widget: source_sentence: "韩国的首都是？" sentences:
  • "首尔特别市是韩国政治、经济、文化的中心城市。"
  • "釜山是韩国的第二大城市及最大海洋物流城市。"
  • "济州岛是韩国著名的旅游胜地"
  • "首尔是韩国的首都"
  • "蔚山广域市是位于韩国东南海岸的广域市"

moco-sentencebertV2.0

这是一个sentence-transformers模型：它能将句子和段落映射到768维的密集向量空间，可用于聚类或语义搜索等任务。

• 该模型基于bongsoo/mbertV2.0的MLM模型，通过转换为sentencebert架构后，进一步采用STS师生蒸馏训练而成。
• 词汇量：152,537个（原119,548词汇基础上新增32,989个词汇）

使用方法（Sentence-Transformers）

安装sentence-transformers后即可轻松使用：

pip install -U sentence_transformers

使用示例：

from sentence_transformers import SentenceTransformer
sentences = ["这是一个示例句子", "每个句子都会被转换"]

model = SentenceTransformer('bongsoo/moco-sentencebertV2.0')
embeddings = model.encode(sentences)
print(embeddings)

# 使用sklearn计算余弦相似度
# 注意：输入embeddings需为2D数组如(1,768)
from sklearn.metrics.pairwise import paired_cosine_distances
cosine_scores = 1 - (paired_cosine_distances(embeddings[0].reshape(1,-1), embeddings[1].reshape(1,-1)))

print(f'*余弦相似度:{cosine_scores[0]}')

输出示例

[[ 0.16649279 -0.2933038  -0.00391259 ...  0.00720964  0.18175027  -0.21052675]
 [ 0.10106096 -0.11454111 -0.00378215 ... -0.009032   -0.2111504   -0.15030429]]
*余弦相似度:0.3352515697479248

使用方法（HuggingFace Transformers）

若不使用sentence-transformers库，可通过以下方式实现：

1. 将输入传入transformer模型
2. 对上下文词嵌入执行均值池化操作（支持CLS池化和max池化）

from transformers import AutoTokenizer, AutoModel
import torch

# 均值池化考虑注意力掩码
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]  # 获取所有token嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

sentences = ['这是一个示例句子', '每个句子都会被转换']

tokenizer = AutoTokenizer.from_pretrained('bongsoo/moco-sentencebertV2.0')
model = AutoModel.from_pretrained('bongsoo/moco-sentencebertV2.0')

encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

with torch.no_grad():
    model_output = model(**encoded_input)

sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("句子嵌入向量：")
print(sentence_embeddings)

# 计算余弦相似度
cosine_scores = 1 - (paired_cosine_distances(sentence_embeddings[0].reshape(1,-1), sentence_embeddings[1].reshape(1,-1)))
print(f'*余弦相似度:{cosine_scores[0]}')

输出示例

句子嵌入向量：
tensor([[ 0.1665, -0.2933, -0.0039,  ...,  0.0072,  0.1818, -0.2105],
        [ 0.1011, -0.1145, -0.0038,  ..., -0.0090, -0.2112, -0.1503]])
*余弦相似度:0.3352515697479248

评估结果

• 使用以下双语评估语料：
  • 韩语：korsts(1,379对句子) 和 klue-sts(519对句子)
  • 英语：stsb_multi_mt(1,376对句子) 和 glue:stsb (1,500对句子)
• 评估指标：余弦相似度斯皮尔曼相关系数
• 评估代码参见GitHub

自动化评估请访问Sentence Embeddings Benchmark: https://seb.sbert.net

训练过程

模型训练参数如下：

1. MLM预训练

• 基础模型：bert-base-multilingual-cased
• 语料：bongsoo/moco-corpus-kowiki2022(760万条)，评估集：bongsoo/bongevalsmall
• 超参数：学习率5e-5，8个epoch，batch size 32，最大token长度128
• 词汇量扩展至152,537个（新增32,989个）
• 输出模型：mbertV2.0（813MB）
• 训练耗时：90小时/单GPU（显存占用19.6GB/24GB）
• 损失值：训练集2.258，评估集3.102，困惑度19.78
• 训练代码见GitHub

2. STS训练

• 输入模型：mbertV2.0
• 语料：korsts + kluestsV1.1 + stsb_multi_mt + mteb/sickr-sts（总计33,093对）
• 超参数：学习率3e-5，200个epoch，batch size 32
• 输出模型：sbert-mbertV2.0（813MB）
• 训练耗时：9小时20分钟/单GPU（显存占用9GB）
• 评估得分：korsts测试集余弦相似度0.799
• 训练代码见GitHub

3. 知识蒸馏

• 学生模型：sbert-mbertV2.0
• 教师模型：paraphrase-multilingual-mpnet-base-v2
• 语料：en_ko_train.tsv（韩英社会科学平行语料110万条）
• 超参数：学习率5e-5，40个epoch，batch size 128
• 输出模型：sbert-mlbertV2.0-distil
• 训练耗时：17小时/单GPU（显存占用18.6GB）
• 训练代码见GitHub

4. STS微调

• 输入模型：sbert-mlbertV2.0-distil
• 语料：korsts(5,749) + kluestsV1.1(11,668) + stsb_multi_mt(5,749) + mteb/sickr-sts(9,927) + glue stsb(5,749)（总计38,842对）
• 超参数：学习率3e-5，800个epoch，batch size 64
• 最终模型：moco-sentencebertV2.0
• 训练耗时：25小时/单GPU（显存占用13GB）
• 训练代码见GitHub

完整训练流程详见GitHub仓库

数据加载器：

长度1035的DataLoader，参数：
{'batch_size': 32, 'sampler': '随机采样', 'batch_sampler': '批采样'}

模型配置：

{
  "模型架构": "BertModel",
  "注意力丢弃率": 0.1,
  "隐藏层维度": 768,
  "初始化范围": 0.02,
  "中间层维度": 3072,
  "最大位置编码": 512,
  "注意力头数": 12,
  "隐藏层数": 12,
  "词汇量": 152537
  // 完整配置见原文
}

模型架构

句子转换器(
  0: Transformer(最大序列长度128),
  1: Pooling(均值池化模式)
)

引用与作者

更多信息请访问GitHub仓库