pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度
• 转换器 datasets:
• embedding-data/QQP_triplets language:
• en license: mit

charlesdedampierre/bunka-embedding

这是一个sentence-transformers模型：它将句子和段落映射到768维的密集向量空间，可用于聚类或语义搜索等任务。

在Bunkatopics中的使用

您可以在BunkaTopics包中使用此LLM，如下所示：

pip install bunkatopics

from bunkatopics import Bunka
import random
from datasets import load_dataset

dataset = load_dataset("rguo123/trump_tweets")['train']['content']
full_docs = random.sample(dataset, 10000)

from langchain.embeddings import HuggingFaceEmbeddings

embedding_model = HuggingFaceEmbeddings(model_name="charlesdedampierre/bunka-embedding")

bunka = Bunka(model_hf=embedding_model)

bunka.fit(full_docs)
df_topics = bunka.get_topics(n_clusters = 20)

使用（Sentence-Transformers）

安装sentence-transformers后，使用此模型变得非常简单：

pip install -U sentence-transformers

然后可以像这样使用模型：

from sentence_transformers import SentenceTransformer
sentences = ["这是一个示例句子", "每个句子都被转换"]

model = SentenceTransformer('charlesdedampierre/bunka-embedding')
embeddings = model.encode(sentences)
print(embeddings)