language:

• 孟加拉语
• 英语 pipeline_tag: 句子相似度 tags:
• 句子转换器
• 特征提取
• 句子相似度

孟加拉语句子转换器

句子转换器是一种前沿的自然语言处理（NLP）模型，能够将句子编码并转换为高维嵌入向量。借助这项技术，我们可以在文本分类、信息检索、语义搜索等多个领域解锁强大的洞察力和应用场景。

该模型基于stsb-xlm-r-multilingual微调而成，现已登陆Hugging Face平台！🎉🎉

安装

使用方法（Sentence-Transformers）

安装sentence-transformers后即可轻松使用本模型：

pip install -U sentence-transformers

from sentence_transformers import SentenceTransformer
sentences = ['我喜欢吃苹果。', '我有一部苹果手机。','你住在这附近吗？', '附近有人吗？']

model = SentenceTransformer('shihab17/bangla-sentence-transformer')
embeddings = model.encode(sentences)
print(embeddings)

from transformers import AutoTokenizer, AutoModel
import torch


#均值池化 - 考虑注意力掩码进行正确平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] #模型输出的第一个元素包含所有标记嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)


# 需要获取句子嵌入的文本
sentences = ['我喜欢吃苹果。', '我有一部苹果手机。','你住在这附近吗？', '附近有人吗？']

# 从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained('shihab17/bangla-sentence-transformer')
model = AutoModel.from_pretrained('shihab17/bangla-sentence-transformer')

# 对句子进行标记化
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算标记嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 执行池化操作（本例采用均值池化）
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("句子嵌入向量：")
print(sentence_embeddings)

如何计算句子相似度

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import pytorch_cos_sim


transformer = SentenceTransformer('shihab17/bangla-sentence-transformer')

sentences = ['我喜欢吃苹果。', '我有一部苹果手机。','你住在这附近吗？', '附近有人吗？']

sentences_embeddings = transformer.encode(sentences)

for i in range(len(sentences)):
    for j in range(i, len(sentences)):
        sen_1 = sentences[i]
        sen_2 = sentences[j]
        sim_score = float(pytorch_cos_sim(sentences_embeddings[i], sentences_embeddings[j]))
        print(sen_1, '----->', sen_2, sim_score)

最佳MSE得分：2.5556

引用

若使用本模型，请引用以下论文：

@INPROCEEDINGS{10754765,
  author={Uddin, Md. Shihab and Haque, Mohd Ariful and Rifat, Rakib Hossain and Kamal, Marufa and Gupta, Kishor Datta and George, Roy},
  booktitle={2024 IEEE 15th Annual Ubiquitous Computing, Electronics & Mobile Communication Conference (UEMCON)}, 
  title={Bangla SBERT - 基于多语言知识蒸馏的句子嵌入}, 
  year={2024},
  volume={},
  number={},
  pages={495-500},
  keywords={情感分析;机器学习算法;准确率;文本分类;语义学;转换器;移动通信;信息检索;机器翻译;句子相似度;句子转换器;SBERT;知识蒸馏;孟加拉语NLP},
  doi={10.1109/UEMCON62879.2024.10754765}}