pipeline_tag: 句子相似度 tags:

• sentence-transformers

• 特征提取

• 句子相似度

• transformers license: cc-by-4.0 language: 马拉地语 widget:

• source_sentence: "农民们正仰望天空" sentences:

  • "现在农民们正凝视着云层"
  • "农民们为粮食生产辛勤劳作"
  • "城市里可见垃圾堆积如山" example_title: "示例1"

• source_sentence: "警方一接到事件消息就抵达了现场" sentences:

  • "警方获悉事件后立即派小队到达事发地点"
  • "当时警方并未受理他们的投诉"
  • "下午与家人共度欢乐时光" example_title: "示例2"

• source_sentence: "前五公里距离将按五卢比费率计费" sentences:

  • "五卢比可行驶五公里"
  • "两地间长途跋涉令人疲惫"
  • "新降的雨水使绿意盎然" example_title: "示例3"

MahaSBERT-STS

基于STS数据集微调的MahaSBERT模型(l3cube-pune/marathi-sentence-bert-nli)。
本项目作为MahaNLP计划的一部分发布：https://github.com/l3cube-pune/MarathiNLP
该模型的多语言版本支持主要印度语言及跨语言句子相似度，详见 indic-sentence-similarity-sbert

关于数据集、模型和基线结果的更多细节请参阅我们的论文

@article{joshi2022l3cubemahasbert,
  title={L3Cube-MahaSBERT和HindSBERT：印地语与马拉地语句子BERT模型及基准测试},
  author={Joshi, Ananya and Kajale, Aditi and Gadre, Janhavi and Deode, Samruddhi and Joshi, Raviraj},
  journal={arXiv预印本 arXiv:2211.11187},
  year={2022}
}

单语种印度SBERT论文
多语种印度SBERT论文

其他单语种相似度模型如下：
马拉地语相似度
印地语相似度
卡纳达语相似度
泰卢固语相似度
马拉雅拉姆语相似度
泰米尔语相似度
古吉拉特语相似度
奥里亚语相似度
孟加拉语相似度
旁遮普语相似度
印度语系相似度(多语言)

其他单语种印度语句子BERT模型如下：
马拉地语SBERT
印地语SBERT
卡纳达语SBERT
泰卢固语SBERT
马拉雅拉姆语SBERT
泰米尔语SBERT
古吉拉特语SBERT
奥里亚语SBERT
孟加拉语SBERT
旁遮普语SBERT
印度语系SBERT(多语言)

这是一个sentence-transformers模型：可将句子和段落映射到768维稠密向量空间，适用于聚类或语义搜索等任务。

使用方法(Sentence-Transformers)

安装sentence-transformers后即可轻松使用：

pip install -U sentence-transformers

使用示例：

from sentence_transformers import SentenceTransformer
sentences = ["这是示例句子", "每个句子都会被转换"]

model = SentenceTransformer('{模型名称}')
embeddings = model.encode(sentences)
print(embeddings)

使用方法(HuggingFace Transformers)

若不使用sentence-transformers，需先通过transformer模型处理输入，再对上下文词嵌入执行正确的池化操作：

from transformers import AutoTokenizer, AutoModel
import torch

#均值池化-考虑注意力掩码进行正确平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] #模型输出的第一个元素包含所有词嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

#待编码句子
sentences = ['这是示例句子', '每个句子都会被转换']

#从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained('{模型名称}')
model = AutoModel.from_pretrained('{模型名称}')

#分词
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

#计算词嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

#执行池化操作（本例采用均值池化）
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("句子嵌入：")
print(sentence_embeddings)