库名称: sentence-transformers
流水线标签: 句子相似度
标签:

• 句子转换器
• 特征提取
• 句子相似度
  许可证: apache-2.0
  基础模型:
• deepvk/RuModernBERT-small
  数据集:
• deepvk/ru-HNP
• deepvk/ru-WANLI
• deepvk/cultura_ru_ed
• Shitao/bge-m3-data
• CarlBrendt/Summ_Dialog_News
• IlyaGusev/gazeta
• its5Q/habr_qna
• wikimedia/wikipedia
• RussianNLP/wikiomnia
  语言:
• 俄语

USER2-small

USER2是新一代俄语通用句子编码器（Universal Sentence Encoder for Russian），专为支持长达8,192个token的长上下文句子表征而设计。

该模型基于RuModernBERT编码器构建，并针对检索和语义任务进行了微调。
同时支持套娃表征学习（MRL）技术——该技术可在表征质量损失最小的情况下缩减嵌入维度。

这是参数量为3400万的小型模型。

性能表现

我们通过MTEB-rus基准测试评估模型质量。
为测试长上下文检索能力，额外运行了MultiLongDocRetrieval（MLDR）任务的俄语子集。

MTEB-rus

MLDR-rus

仅比较支持8192上下文长度的模型。

套娃表征

为评估MRL能力，我们对MTEB-rus测试时裁剪嵌入维度至指定尺寸。

使用指南

前缀说明

本模型训练方式类似Nomic Embed，需在输入中添加任务前缀。前缀选择建议如下：

• "classification: " 是默认通用前缀，多数任务表现良好
• "clustering: " 适用于聚类任务：文本分组、主题发现或去重
• "search_query: " 和 "search_document: " 用于检索和重排序任务。短文本分类任务中，"search_query"可能优于其他前缀，而长文本相似度任务中"search_document"可能更佳

鼓励用户尝试不同前缀，特定领域可能需要定制前缀。

Sentence Transformers

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("deepvk/USER2-small")

query_embeddings = model.encode(["第一艘驱逐舰'平静号'何时下水？"], prompt_name="search_query")
document_embeddings = model.encode(["平静号(驱逐舰)\n1952年8月19日列入苏联海军序列。"], prompt_name="search_document")

similarities = model.similarity(query_embeddings, document_embeddings)

调整嵌入维度：

model = SentenceTransformer("deepvk/USER2-small", truncate_dim=128)

建议使用训练维度[32, 64, 128, 256, 384]以获得最佳效果。

Transformers

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel


def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]
    input_mask_expanded = (
        attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(
        input_mask_expanded.sum(1), min=1e-9
    )


queries = ["search_query: 第一艘驱逐舰'平静号'何时下水？"]
documents = ["search_document: 平静号(驱逐舰)\n1952年8月19日列入苏联海军序列。"]

tokenizer = AutoTokenizer.from_pretrained("deepvk/USER2-small")
model = AutoModel.from_pretrained("deepvk/USER2-small")

encoded_queries = tokenizer(queries, padding=True, truncation=True, return_tensors="pt")
encoded_documents = tokenizer(documents, padding=True, truncation=True, return_tensors="pt")

with torch.no_grad():
    queries_outputs = model(**encoded_queries)
    documents_outputs = model(**encoded_documents)

query_embeddings = mean_pooling(queries_outputs, encoded_queries["attention_mask"])
query_embeddings = F.normalize(query_embeddings, p=2, dim=1)
doc_embeddings = mean_pooling(documents_outputs, encoded_documents["attention_mask"])
doc_embeddings = F.normalize(doc_embeddings, p=2, dim=1)

similarities = query_embeddings @ doc_embeddings.T

调整嵌入维度：

query_embeddings = mean_pooling(queries_outputs, encoded_queries["attention_mask"])
query_embeddings = query_embeddings[:, :truncate_dim]
query_embeddings = F.normalize(query_embeddings, p=2, dim=1)

训练细节

本3400万参数的小型版本基于RuModernBERT-small，经过三阶段微调：RetroMAE、弱监督微调和监督微调。

采用bge-m3训练策略，使用RetroMAE作为检索导向的持续预训练阶段，利用RuModernBERT最终训练阶段的数据增强长上下文检索能力。

为构建顶尖编码器，我们采用两种互补策略解决俄语高质量数据稀缺问题：

1. 跨语言迁移：联合训练英俄数据，利用nomic-unsupervised资源和内部英俄平行语料
2. 无监督配对挖掘：从deepvk/cultura_ru_edu语料中提取5000万非重叠文本块配对

下表显示各数据集使用情况：

第三阶段使用更干净的任务专用数据集，部分通过交叉编码器过滤，所有检索数据集均进行困难负样本挖掘。