许可协议：cc-by-4.0
语言：

• 捷克语
  任务标签：句子相似度

RetroMAE模型

RetroMAE-Small是基于RetroMAE目标在捷克语网络语料库上预训练的BERT-small模型。

该模型由Seznam.cz开发，旨在构建高质量的捷克语小型语义嵌入模型。这些模型在多种自然语言处理任务中表现优异，包括相似性搜索、检索、聚类和分类。如需了解更多细节或评估结果，请参阅相关论文或GitHub仓库。

使用方法

可通过以下代码加载并使用模型：

import torch
from transformers import AutoModel, AutoTokenizer

model_name = "Seznam/retromae-small-cs"  # Hugging Face链接
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

input_texts = [
    "今天天气很好，适合去公园散步。",
    "晚上我想看部好电影，再泡杯茶。"
]

# 对输入文本进行分词
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]  # 提取CLS标记的嵌入向量

similarity = torch.nn.functional.cosine_similarity(embeddings[0], embeddings[1], dim=0)