language:

• 英语
• 希腊语

tags:

• 句子转换器
• 特征提取
• 句子相似度
• 转换器模型

widget:

• source_sentence: "手机掉下来摔坏了。" sentences: [ "跌落损坏了设备。", "汽车断成了两半。", "部长摔倒并摔断了腿。" ]

pipeline_tag: 句子相似度

license: apache-2.0

使用转换器和迁移学习实现希腊语语义文本相似度

由希腊军事学院（SSE）和克里特技术大学（TUC）联合开发

这是一个句子转换器模型：它将句子和段落映射到一个768维的密集向量空间，可用于聚类或语义搜索等任务。

我们采用此处描述的师生迁移学习方法，在STS任务上使用英希平行句对训练了一个XLM-Roberta-base模型。

使用方法（句子转换器）

安装sentence-transformers后即可轻松使用该模型：

pip install -U sentence-transformers

然后可以按如下方式使用模型：

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('{MODEL_NAME}')

sentences1 = ['手机掉下来摔坏了。',
             '手机掉下来摔坏了。',
             '手机掉下来摔坏了。']

sentences2 = ["跌落损坏了设备。",
             "汽车断成了两半。",
             "部长摔倒并摔断了腿。"]


embeddings1 = model.encode(sentences1, convert_to_tensor=True)
embeddings2 = model.encode(sentences2, convert_to_tensor=True)

#计算余弦相似度（克隆仓库以使用工具函数）
from sentence_transformers import util
cosine_scores = util.pytorch_cos_sim(embeddings1, embeddings2)

#输出句子对及其相似度分数
for i in range(len(sentences1)):
    print("{} 		 {} 		 Score: {:.4f}".format(sentences1[i], sentences2[i], cosine_scores[i][i]))
    
#输出结果:
#手机掉下来摔坏了。 		 跌落损坏了设备。 		 Score: 0.6741
#手机掉下来摔坏了。 		 汽车断成了两半。 		 Score: 0.5067
#手机掉下来摔坏了。 		 部长摔倒并摔断了腿。 		 Score: 0.4548