许可协议: cc-by-nc-sa-4.0 语言:

• 捷克语
• 英语 任务标签: 句子相似度

多语言蒸馏模型

Dist-MPNet-Paracrawl是从sentence-transformers/all-mpnet-base-v2模型蒸馏得到的BERT-small模型，训练时使用了捷克语-英语平行数据集CzEng。

该模型由Seznam.cz开发，是其构建高质量捷克语小型语义嵌入模型项目的一部分。这些模型在多种自然语言处理任务中表现优异，包括相似性搜索、检索、聚类和分类。如需更多细节或评估结果，请参阅相关论文或GitHub仓库。

使用方法

可通过以下方式加载和使用该模型：

import torch
from transformers import AutoModel, AutoTokenizer

model_name = "Seznam/retromae-small-cs"  # Hugging Face链接
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

input_texts = [
    "今天天气很好，适合去公园散步。",
    "晚上我要看部好电影，再泡杯茶。"
]

# 对输入文本进行分词
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]  # 提取CLS标记的嵌入向量

similarity = torch.nn.functional.cosine_similarity(embeddings[0], embeddings[1], dim=0)