pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度
• 转换器 language: ru license: unlicense

widget:

• source_sentence: "猫抓老鼠。" sentences: ["谁在抓老鼠？", "猫住在哪里？", "老鼠叫什么名字？"]

SBERT_PQ

这是一个基于sentence-transformers的模型，主要用于判断短文本（通常是一个长度在10-15个单词以内的句子）与问题之间的相关性。

该模型会为文本和问题生成312维的向量。通过计算这两个向量之间的余弦相似度，可以评估文本是否包含问题的答案。在对话系统项目中，它被用于根据用户提出的问题在事实数据库中进行语义搜索。

速度与准确度

该模型基于cointegrated/rubert-tiny2。它体积非常小，即使在CPU上也能快速完成推理。

在测试集（数据集的10%）上，cossim_f1指标的最高值为0.986。

如果使用sberbank-ai/ruBert-base作为基础模型，cossim_f1的最高值可达0.992。

使用Sentence-Transformers库

需要先安装sentence-transformers：

pip install -U sentence-transformers

要判断一对“文本-问题”的相关性，可以使用以下代码：

import sentence_transformers

sentences = ["猫抓老鼠。", "猫在做什么？"]

model = sentence_transformers.SentenceTransformer('inkoziev/sbert_pq')
embeddings = model.encode(sentences)

s = sentence_transformers.util.cos_sim(a=embeddings[0], b=embeddings[1])
print('文本={} 问题={} 余弦相似度={}'.format(sentences[0], sentences[1], s))

联系与引用

@MISC{rugpt_chitchat,
    author  = {Ilya Koziev},
    title   = {文本与问题相关性模型},
    url     = {https://huggingface.co/inkoziev/sbert_pq},
    year    = 2022
}