语言:

• 希腊语 任务标签:
• 句子相似度 标签:
• 句子转换器
• 特征提取
• 句子相似度
• 转换器 评估指标:
• 余弦准确率
• 欧几里得准确率
• 曼哈顿准确率 模型索引:
• 名称: st-greek-media-bert-base-uncased 结果: [ { "任务": { "名称": "STS基准测试", "类型": "句子相似度" }, "评估指标": [ { "类型": "余弦准确率", "值": 0.9563965089445283 }, { "类型": "欧几里得准确率", "值": 0.9566394253292384 }, { "类型": "曼哈顿准确率", "值": 0.9565353183072198 }, ], "数据集": { "名称": "all_custom_greek_media_triplets", "类型": "句子对", }, }, ]

希腊媒体SBERT（无大小写）

句子转换器

这是一个基于希腊媒体BERT（无大小写）模型的sentence-transformers模型：它将句子和段落映射到768维的密集向量空间，可用于聚类或语义搜索等任务。

使用方法（Sentence-Transformers）

安装sentence-transformers后，使用此模型变得非常简单：

pip install -U sentence-transformers

然后可以像这样使用模型：

from sentence_transformers import SentenceTransformer
sentences = ["这是一个示例句子", "每个句子都会被转换"]

model = SentenceTransformer('dimitriz/st-greek-media-bert-base-uncased')
embeddings = model.encode(sentences)
print(embeddings)

使用方法（HuggingFace Transformers）

如果没有安装sentence-transformers，可以这样使用模型：首先将输入传递给转换器模型，然后对上下文化的词嵌入应用正确的池化操作。

from transformers import AutoTokenizer, AutoModel
import torch


# 均值池化 - 考虑注意力掩码以进行正确的平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]  # 模型输出的第一个元素包含所有词嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)


# 需要获取句子嵌入的句子
sentences = ['这是一个示例句子', '每个句子都会被转换']

# 从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained('dimitriz/st-greek-media-bert-base-uncased')
model = AutoModel.from_pretrained('dimitriz/st-greek-media-bert-base-uncased')

# 对句子进行分词
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算词嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 执行池化。这里使用均值池化。
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("句子嵌入:")
print(sentence_embeddings)

评估结果

关于此模型的自动化评估，请参见_句子嵌入基准测试_：https://seb.sbert.net

训练

该模型是在一个包含来自希腊“互联网”、“社交媒体”和“新闻”领域组合的三元组自定义数据集上训练的，描述在论文DACL中。

• 数据集通过从同一领域采样句子三元组创建，其中前两个句子比第三个句子更相似。
• 训练目标是最大化前两个句子之间的相似度，并最小化第一个和第三个句子之间的相似度。
• 模型训练了3个周期，批次大小为16，最大序列长度为512个标记。
• 模型在单个NVIDIA RTX A6000 GPU（48GB内存）上训练。

模型训练参数：

数据加载器:

torch.utils.data.dataloader.DataLoader，长度10807，参数：

{'batch_size': 16, 'sampler': 'torch.utils.data.sampler.RandomSampler', 'batch_sampler': 'torch.utils.data.sampler.BatchSampler'}

损失函数:

sentence_transformers.losses.TripletLoss.TripletLoss，参数：

{'distance_metric': 'TripletDistanceMetric.EUCLIDEAN', 'triplet_margin': 5}

fit()方法的参数：

{
    "epochs": 3,
    "evaluation_steps": 1000,
    "evaluator": "sentence_transformers.evaluation.TripletEvaluator.TripletEvaluator",
    "max_grad_norm": 1,
    "optimizer_class": "<class 'torch.optim.adamw.AdamW'>",
    "optimizer_params": {
        "lr": 2e-05
    },
    "scheduler": "WarmupLinear",
    "steps_per_epoch": null,
    "warmup_steps": 17290,
    "weight_decay": 0.01
}

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
)

引用与作者

该模型已随文章“DACL: A Domain-Adapted Contrastive Learning Approach to Low Resource Language Representations for Document Clustering Tasks”正式发布。 作者：Dimitrios Zaikis, Stylianos Kokkas和Ioannis Vlahavas。 收录于：Iliadis, L., Maglogiannis, I., Alonso, S., Jayne, C., Pimenidis, E. (eds) Engineering Applications of Neural Networks. EANN 2023. Communications in Computer and Information Science, vol 1826. Springer, Cham"。

如果您使用该模型，请引用以下内容：

@InProceedings{10.1007/978-3-031-34204-2_47,
author="Zaikis, Dimitrios
and Kokkas, Stylianos
and Vlahavas, Ioannis",
editor="Iliadis, Lazaros
and Maglogiannis, Ilias
and Alonso, Serafin
and Jayne, Chrisina
and Pimenidis, Elias",
title="DACL: A Domain-Adapted Contrastive Learning Approach to Low Resource Language Representations for Document Clustering Tasks",
booktitle="Engineering Applications of Neural Networks",
year="2023",
publisher="Springer Nature Switzerland",
address="Cham",
pages="585--598",
isbn="978-3-031-34204-2"
}