pipeline_tag: 句子相似度
tags:

• sentence-transformers
• 特征提取
• 句子相似度
  datasets:
• flax-sentence-embeddings/stackexchange_xml
• ms_marco
• gooaq
• yahoo_answers_topics
• search_qa
• eli5
• natural_questions
• trivia_qa
• embedding-data/QQP
• embedding-data/PAQ_pairs
• embedding-data/Amazon-QA
• embedding-data/WikiAnswers

多语言文本语义搜索-Siamese-BERT

这是一个sentence-transformers模型：它将句子和段落映射到384维稠密向量空间，专为语义搜索设计。该模型基于来自不同来源的2.15亿（问题，答案）对训练而成。关于语义搜索的介绍，请参阅：SBERT.net - 语义搜索

使用方法（Sentence-Transformers）

安装sentence-transformers后即可轻松使用此模型：

pip install -U sentence-transformers

然后可以按如下方式使用模型：

from sentence_transformers import SentenceTransformer, util  

query = "伦敦有多少人口？"  
docs = ["大约有900万人居住在伦敦", "伦敦以其金融区闻名"]  

#加载模型  
model = SentenceTransformer('SeyedAli/Multilingual-Text-Semantic-Search-Siamese-BERT-V1')  

#编码查询和文档  
query_emb = model.encode(query)  
doc_emb = model.encode(docs)  

#计算查询与所有文档嵌入的点积分数  
scores = util.dot_score(query_emb, doc_emb)[0].cpu().tolist()  

#组合文档和分数  
doc_score_pairs = list(zip(docs, scores))  

#按分数降序排序  
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)  

#输出段落和分数  
for doc, score in doc_score_pairs:  
    print(score, doc)  

PyTorch用法（HuggingFace Transformers）

若不使用sentence-transformers，可按如下方式使用模型：首先将输入传递给Transformer模型，然后对上下文词嵌入应用正确的池化操作。

from transformers import AutoTokenizer, AutoModel  
import torch  
import torch.nn.functional as F  

#均值池化 - 取所有词元的平均值  
def mean_pooling(model_output, attention_mask):  
    token_embeddings = model_output.last_hidden_state  
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()  
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)  

#编码文本  
def encode(texts):  
    #分词  
    encoded_input = tokenizer(texts, padding=True, truncation=True, return_tensors='pt')  

    #计算词元嵌入  
    with torch.no_grad():  
        model_output = model(**encoded_input, return_dict=True)  

    #执行池化  
    embeddings = mean_pooling(model_output, encoded_input['attention_mask'])  

    #归一化嵌入  
    embeddings = F.normalize(embeddings, p=2, dim=1)  
    return embeddings  

#待编码句子  
query = "伦敦有多少人口？"  
docs = ["大约有900万人居住在伦敦", "伦敦以其金融区闻名"]  

#从HuggingFace Hub加载模型  
tokenizer = AutoTokenizer.from_pretrained("SeyedAli/Multilingual-Text-Semantic-Search-Siamese-BERT-V1")  
model = AutoModel.from_pretrained("SeyedAli/Multilingual-Text-Semantic-Search-Siamese-BERT-V1")  

#编码查询和文档  
query_emb = encode(query)  
doc_emb = encode(docs)  

#计算查询与所有文档嵌入的点积分数  
scores = torch.mm(query_emb, doc_emb.transpose(0, 1))[0].cpu().tolist()  

#组合文档和分数  
doc_score_pairs = list(zip(docs, scores))  

#按分数降序排序  
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)  

#输出段落和分数  
for doc, score in doc_score_pairs:  
    print(score, doc)  

TensorFlow用法（HuggingFace Transformers）

与PyTorch示例类似，使用TensorFlow时需将输入传递给Transformer模型，然后对上下文词嵌入应用正确的池化操作。

from transformers import AutoTokenizer, TFAutoModel  
import tensorflow as tf  

#均值池化 - 考虑注意力掩码以正确平均  
def mean_pooling(model_output, attention_mask):  
    token_embeddings = model_output.last_hidden_state  
    input_mask_expanded = tf.cast(tf.tile(tf.expand_dims(attention_mask, -1), [1, 1, token_embeddings.shape[-1]]), tf.float32)  
    return tf.math.reduce_sum(token_embeddings * input_mask_expanded, 1) / tf.math.maximum(tf.math.reduce_sum(input_mask_expanded, 1), 1e-9)  

#编码文本  
def encode(texts):  
    #分词  
    encoded_input = tokenizer(texts, padding=True, truncation=True, return_tensors='tf')  

    #计算词元嵌入  
    model_output = model(**encoded_input, return_dict=True)  

    #执行池化  
    embeddings = mean_pooling(model_output, encoded_input['attention_mask'])  

    #归一化嵌入  
    embeddings = tf.math.l2_normalize(embeddings, axis=1)  
    return embeddings  

#待编码句子  
query = "伦敦有多少人口？"  
docs = ["大约有900万人居住在伦敦", "伦敦以其金融区闻名"]  

#从HuggingFace Hub加载模型  
tokenizer = AutoTokenizer.from_pretrained("SeyedAli/Multilingual-Text-Semantic-Search-Siamese-BERT-V1")  
model = TFAutoModel.from_pretrained("SeyedAli/Multilingual-Text-Semantic-Search-Siamese-BERT-V1")  

#编码查询和文档  
query_emb = encode(query)  
doc_emb = encode(docs)  

#计算查询与所有文档嵌入的点积分数  
scores = (query_emb @ tf.transpose(doc_emb))[0].numpy().tolist()  

#组合文档和分数  
doc_score_pairs = list(zip(docs, scores))  

#按分数降序排序  
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)  

#输出段落和分数  
for doc, score in doc_score_pairs:  
    print(score, doc)  

技术细节

以下是该模型使用的技术细节：

注意：当使用sentence-transformers加载时，此模型生成长度为1的归一化嵌入。此时点积和余弦相似度等效。点积因速度更快而更受推荐。欧氏距离与点积成比例，也可使用。

背景

该项目旨在通过自监督对比学习目标在非常大的句子级数据集上训练句子嵌入模型。我们使用对比学习目标：给定一对句子中的一个句子，模型应预测在数据集中实际与之配对的句子。

我们在Hugging Face组织的使用JAX/Flax进行NLP和CV的社区周期间开发了此模型。作为用10亿训练对训练最佳句子嵌入模型项目的一部分。我们受益于高效的硬件基础设施：7个TPU v3-8，以及来自Google Flax、JAX和云团队关于高效深度学习框架的指导。

预期用途

我们的模型旨在用于语义搜索：它将查询/问题和文本段落编码到稠密向量空间中，为给定段落找到相关文档。

注意：存在512个词片段的限制，超过此长度的文本将被截断。此外，模型仅在最多250个词片段的输入文本上进行训练，可能对更长的文本效果不佳。

训练过程

完整的训练脚本可在当前仓库中找到：train_script.py。

预训练

我们使用预训练的nreimers/MiniLM-L6-H384-uncased模型。有关预训练过程的更多详细信息，请参阅模型卡。

训练

我们使用多个数据集的串联来微调模型。总共有约2.15亿（问题，答案）对。我们根据data_config.json文件中详细配置的加权概率对每个数据集进行采样。

模型使用MultipleNegativesRankingLoss进行训练，采用均值池化、余弦相似度作为相似度函数，缩放因子为20。