库名称: sentence-transformers
流水线标签: 句子相似度
标签:

• sentence-transformers
• 特征提取
• 句子相似度
• transformers
• rubert
• 双向编码器
• 检索器
• msmarco

数据集:

• unicamp-dl/mmarco

语言:

• 俄语

基础模型: DeepPavlov/rubert-base-cased

小部件示例:

• 源句: "определение новичка"
  对比句:

  • "Часть пятая: Посещение художественного музея. Для новичка посещение художественного музея может стать непростой задачей..."
  • "Определение новичка - это новичок или человек в начале чего-либо."
    示例标题: 示例1

• 源句: "какое состояние может определить тест с физической нагрузкой"
  对比句:

  • "Тест с физической нагрузкой разработан, чтобы выяснить, содержат ли одна или несколько коронарных артерий, питающих сердце, жировые отложения..."
  • "Тест направлен на то, чтобы выяснить, не получает ли какой-либо участок сердечной мышцы достаточный кровоток во время тренировки..."
    示例标题: 示例2

模型指标:

• 名称: rubert-bi-encoder-mmarcoRU
  结果:
  • 任务类型: 检索
    数据集:
    • 类型: unicamp-dl/mmarco
      名称: mMARCO (俄语版)
      拆分: 测试集
      评估指标:
    • 类型: 余弦相似度-召回率@5
      值: 0.9997
    • 类型: 余弦相似度-MRR@10
      值: 0.9860
    • 类型: 余弦相似度-NDCG@10
      值: 0.9896
    • 类型: 余弦相似度-MAP@100
      值: 0.9860
    • 类型: 点积分数-召回率@5
      值: 0.9996
    • 类型: 点积分数-MRR@10
      值: 0.9821
    • 类型: 点积分数-NDCG@10
      值: 0.9867
    • 类型: 点积分数-MAP@100
      值: 0.9821

许可证: MIT

DiTy/俄语-msmarco双向编码器

这是基于预训练模型DeepPavlov/rubert-base-cased并使用MS-MARCO俄语段落排序数据集微调的sentence-transformers模型。该模型将句子和段落映射到768维稠密向量空间，可用于俄语的非对称语义搜索。

使用方法（Sentence-Transformers）

安装sentence-transformers后即可轻松使用该模型：

pip install -U sentence-transformers

然后按如下方式使用模型：

from sentence_transformers import SentenceTransformer, util

sentences = [
    'какое состояние может определить тест с физической нагрузкой', 
    'Тест с физической нагрузкой разработан, чтобы выяснить, содержат ли одна или несколько коронарных артерий...',
    'Тест направлен на то, чтобы выяснить, не получает ли какой-либо участок сердечной мышцы достаточный кровоток...'
]

model = SentenceTransformer('DiTy/bi-encoder-russian-msmarco')
embeddings = model.encode(sentences)
results = util.semantic_search(embeddings[0], embeddings[1:])[0]

print(f"句子相似度: {results}")
# 输出示例: `句子相似度: [{'corpus_id': 0, 'score': 0.8545}, {'corpus_id': 1, 'score': 0.0230}]`

使用方法（HuggingFace Transformers）

若不使用sentence-transformers，可按以下方式操作：首先通过transformer模型传递输入，然后对上下文词嵌入应用正确的池化操作。

from transformers import AutoTokenizer, AutoModel
import torch

# 均值池化 - 考虑注意力掩码以正确平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]  # 模型输出的第一个元素包含所有词嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# 待编码句子示例
sentences = [
    'красный плоский лишай вызван стрессом',
    'В большинстве случаев причину появления красного плоского лишая невозможно...',
    'К сожалению для работодателей, в разных штатах страны есть несколько дел...'
]

# 从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained('DiTy/bi-encoder-russian-msmarco')
model = AutoModel.from_pretrained('DiTy/bi-encoder-russian-msmarco')

# 编码句子
encoded_input = tokenizer(sentences, max_length=512, padding='max_length', truncation=True, return_tensors='pt')

# 计算词嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 执行均值池化
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("句子嵌入向量:")
print(sentence_embeddings)

训练过程

模型训练参数如下：

数据加载器:
torch.utils.data.dataloader.DataLoader，长度1989041，参数：

{'batch_size': 16, 'sampler': '随机采样器', 'batch_sampler': '批采样器'}

损失函数:
sentence_transformers.losses.MultipleNegativesRankingLoss，参数：

{'scale': 20.0, 'similarity_fct': 'cos_sim'}

训练方法参数：

{
    "训练轮数": 5,
    "评估步长": 250000,
    "评估器": "信息检索评估器",
    "最大梯度范数": 1,
    "优化器": "AdamW",
    "学习率": 2e-05,
    "调度器": "线性预热",
    "预热步数": 10000,
    "权重衰减": 0.01
}

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False})  # 基于BertModel的Transformer
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_mean_tokens': True})  # 均值池化层
)