pipeline_tag: 句子相似度 tags:

• sentence-transformers
• 特征提取
• 句子相似度
• transformers language: ru license: unlicense widget:
• source_sentence: 猫抓老鼠 sentences:
  • 老鼠被猫追赶
  • 猫在追老鼠
  • 猫在享受快感 datasets:
• inkoziev/paraphrases

短语同义性检测器

这是基于sentence-transformers的模型，主要用于检测两个短文本（通常是10-15个单词的单句）的同义性。部分训练数据集可在inkoziev/paraphrases仓库中获取。

该模型为文本和问题生成312维的向量。通过计算这些向量之间的余弦相似度，可以评估它们在语义上的接近程度。在对话系统项目中，它被用于识别陈述和事实的转述。

该模型基于cointegrated/rubert-tiny2开发，体积小巧，即使在CPU上也能快速完成推理。

使用Sentence-Transformers库

为方便使用，请安装sentence-transformers:

pip install -U sentence-transformers

要检测句子对的同义性，可以使用以下代码：

import sentence_transformers

sentences = ["独木不成林",
"两根木头比一根更有优势",
"覆水难收",]

model = sentence_transformers.SentenceTransformer('inkoziev/sbert_synonymy')
embeddings = model.encode(sentences)

s1 = sentences[0]
v1 = embeddings[0]
for i2 in range(1, 3):
    s = sentence_transformers.util.cos_sim(a=v1, b=embeddings[i2]).item()
    print('text1={} text2={} cossim={}'.format(s1, sentences[i2], s))

运行结果大致如下：

text1=独木不成林  text2=两根木头比一根更有优势  cossim=0.8603419065475464
text1=独木不成林  text2=覆水难收  cossim=0.013120125979185104

相关项目

生成式诗歌转述模型可在huggingface hub获取：inkoziev/paraphraser。该模型的训练代码可在GitHub仓库中找到。

联系与引用

@MISC{rugpt_chitchat,
    author  = {Ilya Koziev},
    title   = {Paraphrase Detection Model},
    url     = {https://huggingface.co/inkoziev/sbert_synonymy},
    year    = 2022
}