标签:

• 模糊匹配
• 模糊搜索
• 实体解析
• 记录链接
• 结构化数据搜索

一个基于字符级标记训练的孪生BERT架构，用于实现基于嵌入的模糊匹配。

使用方法（Sentence-Transformers）

安装sentence-transformers后，使用此模型变得非常简单：

pip install -U sentence-transformers

然后可以像这样使用模型：

from sentence_transformers import SentenceTransformer, util
word1 = "fuzzformer"
word1 = " ".join([char for char in word1]) ## 将单词分割为字符级别以进行模糊匹配
word2 = "fizzformer"
word2 = " ".join([char for char in word2]) ## 将单词分割为字符级别以进行模糊匹配
words = [word1, word2]

model = SentenceTransformer('shahrukhx01/paraphrase-mpnet-base-v2-fuzzy-matcher')
fuzzy_embeddings = model.encode(words)

print("模糊匹配分数:")
print(util.cos_sim(fuzzy_embeddings[0], fuzzy_embeddings[1]))

使用方法（HuggingFace Transformers）

import torch
from transformers import AutoTokenizer, AutoModel
from torch import Tensor, device

def cos_sim(a: Tensor, b: Tensor):
    """
    从sentence transformers库借用的函数
    计算所有i和j的余弦相似度cos_sim(a[i], b[j])。
    :return: 矩阵，其中res[i][j] = cos_sim(a[i], b[j])
    """
    if not isinstance(a, torch.Tensor):
        a = torch.tensor(a)

    if not isinstance(b, torch.Tensor):
        b = torch.tensor(b)

    if len(a.shape) == 1:
        a = a.unsqueeze(0)

    if len(b.shape) == 1:
        b = b.unsqueeze(0)

    a_norm = torch.nn.functional.normalize(a, p=2, dim=1)
    b_norm = torch.nn.functional.normalize(b, p=2, dim=1)
    return torch.mm(a_norm, b_norm.transpose(0, 1))


#均值池化 - 考虑注意力掩码以进行正确的平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] #模型输出的第一个元素包含所有标记嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)


# 需要获取模糊嵌入的单词
word1 = "fuzzformer"
word1 = " ".join([char for char in word1]) ## 将单词分割为字符级别以进行模糊匹配
word2 = "fizzformer"
word2 = " ".join([char for char in word2]) ## 将单词分割为字符级别以进行模糊匹配
words = [word1, word2]
# 从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained('shahrukhx01/paraphrase-mpnet-base-v2-fuzzy-matcher')
model = AutoModel.from_pretrained('shahrukhx01/paraphrase-mpnet-base-v2-fuzzy-matcher')

# 标记化句子
encoded_input = tokenizer(words, padding=True, truncation=True, return_tensors='pt')

# 计算标记嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 执行池化。这里使用均值池化。
fuzzy_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("模糊匹配分数:")
print(cos_sim(fuzzy_embeddings[0], fuzzy_embeddings[1]))

致谢

非常感谢Sentence Transformers，他们的实现极大地加速了Fuzzformer的开发。

引用

如需在您的工作中引用FuzzTransformer，请使用以下bibtex格式的引用： @misc{shahrukhkhan2021fuzzTransformer,
author = {Shahrukh Khan},
title = {FuzzTransformer: 一种基于字符级嵌入的孪生变换器，用于模糊字符串匹配。},
year = 2021,
publisher = {即将发布},
doi = {即将发布},
url = {即将发布}
}