许可证：Apache-2.0
语言：英语
标签：

• 句子相似度
  库名称：sentence-transformers
  流水线标签：句子相似度

数据集收集：

• 新闻数据集采集自Kaggle数据集
• 数据集包含新闻标题、新闻内容及标签（标签表示新闻标题与内容之间的余弦相似度）
• 数据收集阶段采用了多种策略

句子转换器针对语义搜索和句子相似度进行微调

• 该模型基于上述数据集微调
• 适用于语义搜索、句子相似度计算、推荐系统等场景
• 也可直接用于推理任务

数据字段说明：

标签：新闻标题与内容的余弦相似度
新闻标题：新闻的标题文本
新闻内容：新闻的正文内容

应用场景：

• 本模型适用于语义搜索、句子相似度计算、推荐系统
• 可根据具体需求对模型进行二次微调

模型实现方法

安装依赖库

pip install -U sentence-transformers

from sentence_transformers import SentenceTransformer, InputExample, losses  
import pandas as pd  
from sentence_transformers import SentenceTransformer, InputExample  
from torch.utils.data import DataLoader  
from sentence_transformers import SentenceTransformer, util  

# 加载预训练模型  
model_name="Sakil/sentence_similarity_semantic_search"  
model = SentenceTransformer(model_name)  

# 示例句子组  
sentences = [  
    '一名男子正在吃东西。',  
    '一名男子正在吃一片面包。',  
    '女孩正抱着婴儿。',  
    '一名男子在骑马。',  
    '一名女子在拉小提琴。',  
    '两个男人推着车穿过树林。',  
    '一名男子在围场里骑白马。',  
    '猴子在打鼓。',  
    '穿着猩猩服装的人正在打鼓。'  
]  

# 编码所有句子  
embeddings = model.encode(sentences)  

# 计算所有句子对的余弦相似度  
cos_sim = util.cos_sim(embeddings, embeddings)  

# 存储所有句子组合及其相似度得分  
all_sentence_combinations = []  
for i in range(len(cos_sim)-1):  
    for j in range(i+1, len(cos_sim)):  
        all_sentence_combinations.append([cos_sim[i][j], i, j])  

# 按相似度得分降序排序  
all_sentence_combinations = sorted(all_sentence_combinations, key=lambda x: x[0], reverse=True)  

# 输出相似度最高的5组句子  
print("Top-5最相似句子对：")  
for score, i, j in all_sentence_combinations[0:5]:  
    print("{} \t {} \t {:.4f}".format(sentences[i], sentences[j], cos_sim[i][j]))  

GitHub仓库：Sakil Ansari