库名称: sentence-transformers
流水线标签: 句子相似度
标签:

• 句子转换器
• 特征提取
• 句子相似度
  许可证: apache-2.0
  基础模型:
• deepvk/RuModernBERT-base
  数据集:
• deepvk/ru-HNP
• deepvk/ru-WANLI
• deepvk/cultura_ru_ed
• Shitao/bge-m3-data
• CarlBrendt/Summ_Dialog_News
• IlyaGusev/gazeta
• its5Q/habr_qna
• wikimedia/wikipedia
• RussianNLP/wikiomnia
  语言:
• 俄语

USER2基础版

USER2 是新一代俄语通用句子编码器（Universal Sentence Encoder for Russian），专为支持长达8,192个token的上下文句子表征而设计。

该模型基于RuModernBERT编码器构建，并针对检索和语义任务进行了微调。
同时支持套娃表征学习(MRL)技术——该技术可在表征质量损失最小的情况下缩减嵌入维度。

此为1.49亿参数的基础版本。

性能表现

我们通过MTEB-rus基准测试评估模型质量，同时使用MultiLongDocRetrieval（MLDR）任务的俄语子集衡量长上下文检索能力。

MTEB-rus

MLDR-rus

仅比较支持8192上下文长度的模型。

套娃表征

为评估MRL能力，我们对嵌入进行维度裁剪后使用MTEB-rus测试。

使用指南

前缀说明

本模型采用与Nomic Embed相似的训练方式，需在输入前添加任务特定前缀：

• "classification: " 默认通用前缀，适用于多数任务
• "clustering: " 推荐用于聚类场景：文本分组、主题发现或去重
• "search_query: " 与 "search_document: " 专为检索和重排序设计。短文本分类任务中"search_query"可能表现更优，而长文本相似度任务适合使用"search_document"

建议尝试不同前缀，某些领域可能需要特定前缀。

Sentence Transformers

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("deepvk/USER2-base")

# 查询编码
query_embeddings = model.encode(["第一艘'平静'号驱逐舰何时下水？"], prompt_name="search_query")
# 文档编码
document_embeddings = model.encode(["平静号驱逐舰\n1952年8月19日列入苏联海军序列。"], prompt_name="search_document")

# 计算相似度
similarities = model.similarity(query_embeddings, document_embeddings)

维度裁剪示例：

model = SentenceTransformer("deepvk/USER2-base", truncate_dim=128)

推荐使用训练维度[32, 64, 128, 256, 384, 512, 768]以获得最佳效果。

Transformers

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel

# 均值池化函数
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]
    input_mask_expanded = (
        attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(
        input_mask_expanded.sum(1), min=1e-9
    )

queries = ["search_query: 第一艘'平静'号驱逐舰何时下水？"]
documents = ["search_document: 平静号驱逐舰\n1952年8月19日列入苏联海军序列。"]

tokenizer = AutoTokenizer.from_pretrained("deepvk/USER2-base")
model = AutoModel.from_pretrained("deepvk/USER2-base")

# 编码处理
encoded_queries = tokenizer(queries, padding=True, truncation=True, return_tensors="pt")
encoded_documents = tokenizer(documents, padding=True, truncation=True, return_tensors="pt")

# 生成嵌入
with torch.no_grad():
    queries_outputs = model(**encoded_queries)
    documents_outputs = model(**encoded_documents)

# 标准化处理
query_embeddings = mean_pooling(queries_outputs, encoded_queries["attention_mask"])
query_embeddings = F.normalize(query_embeddings, p=2, dim=1)
doc_embeddings = mean_pooling(documents_outputs, encoded_documents["attention_mask"])
doc_embeddings = F.normalize(doc_embeddings, p=2, dim=1)

# 相似度计算
similarities = query_embeddings @ doc_embeddings.T

维度裁剪方法：

query_embeddings = query_embeddings[:, :truncate_dim]

训练细节

本1.49亿参数基础版基于RuModernBERT-base，经历三阶段训练：

1. RetroMAE预训练
2. 弱监督微调
3. 监督微调

采用bge-m3训练策略，使用RetroMAE增强检索能力（尤其长文本）。为解决俄语优质数据稀缺问题，我们采用：

• 跨语言迁移：联合训练英俄数据，利用nomic-unsupervised及自建平行语料
• 无监督配对挖掘：从cultura_ru_edu语料中提取5000万非重叠文本对

训练数据集

弱监督阶段

监督阶段