pipeline_tag: 句子相似度 tags:

• sentence-transformers
• 特征提取
• 句子相似度
• 检索
• transformers

oguuzhansahin/bi-encoder-mnrl-dbmdz-bert-base-turkish-cased-margin_3.0-msmarco-tr-10k

这是一个sentence-transformers模型：它能将句子和段落映射到一个768维的密集向量空间，可用于聚类或语义搜索等任务。

使用方法（Sentence-Transformers）

安装sentence-transformers后，使用此模型变得非常简单：

pip install -U sentence-transformers

然后你可以像这样使用模型：

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer('oguuzhansahin/bi-encoder-mnrl-dbmdz-bert-base-turkish-cased-margin_3.0-msmarco-tr-10k')

query = "伊斯坦布尔的人口有多少？"

sentences = ["伊斯坦布尔居住的人口数量已超过1500万",
             "伦敦的人口大约为900万。",
             "伊斯坦布尔的生活非常艰难。"]

query_embedding = model.encode(query, convert_to_tensor=True)
sentence_embeddings = model.encode(sentences, show_progress_bar=True)

#计算查询与所有文档嵌入的点积分数
scores = util.dot_score(query_embedding, sentence_embeddings)[0].cpu().tolist()

#合并文档与分数
doc_score_pairs = list(zip(sentences, scores))

#按分数降序排序
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)

#输出段落与分数
for doc, score in doc_score_pairs:
    print(score, doc)

## 预期输出：
400.1816711425781 | 伊斯坦布尔居住的人口数量已超过1500万
309.97796630859375 | 伦敦的人口大约为900万。
133.04507446289062 | 伊斯坦布尔的生活非常艰难。