许可证: cc-by-4.0 语言:

• 捷克语
• 英语 任务标签: 句子相似度

多语言蒸馏模型

Dist-MPNet-Paracrawl 是一个基于BERT-small架构的蒸馏模型，其母模型为sentence-transformers/all-mpnet-base-v2，训练数据采用捷克语-英语平行语料库ParaCrawl。

该模型由Seznam.cz开发，属于构建高质量捷克语小型语义嵌入模型的项目成果。这些模型在多种自然语言处理任务中表现优异，包括相似性搜索、信息检索、文本聚类和分类。如需了解更多细节或评估结果，请参阅相关论文或GitHub代码库。

使用方式

可通过以下代码加载和使用模型：

import torch
from transformers import AutoModel, AutoTokenizer

model_name = "Seznam/retromae-small-cs"  # Hugging Face链接
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

input_texts = [
    "今天天气晴朗，非常适合去公园散步。",
    "晚上我打算看部好电影，再泡杯茶。"
]

# 对输入文本进行标记化处理
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]  # 提取CLS标记的嵌入向量

similarity = torch.nn.functional.cosine_similarity(embeddings[0], embeddings[1], dim=0)