pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度
• 转换器

svalabs/german-gpl-adapted-covid

这是一个针对新冠疫情调整的德语sentence-transformers模型： 该模型通过Haystack集成的GPL方法，在新冠疫情相关文档上进行了适应性训练。我们采用svalabs/cross-electra-ms-marco-german-uncased作为交叉编码器，并利用svalabs/mt5-large-german-query-gen-v1进行查询生成。

使用方法（Sentence-Transformers）

安装sentence-transformers后即可轻松使用此模型：

pip install -U sentence-transformers

然后可以按如下方式使用模型：

from sentence_transformers import SentenceTransformer, util
from transformers import AutoTokenizer, AutoModel


org_model = SentenceTransformer("sentence-transformers/msmarco-distilbert-multilingual-en-de-v2-tmp-trained-scratch")
org_model.max_seq_length = max_seq_length

model = SentenceTransformer('svalabs/german-gpl-adapted-covid')

def show_examples(model):
    query = "新冠病毒如何传播"
    docs = [
        "冠状病毒传染性极强",
        "新冠病毒通过空气传播",
        "埃博拉病毒通过直接接触血液传播",
        "艾滋病毒通过性行为或共用针头传播",
        "脊髓灰质炎通过受污染的水或食物传播",
    ]

    query_emb = model.encode(query)
    docs_emb = model.encode(docs)
    scores = util.dot_score(query_emb, docs_emb)[0]
    doc_scores = sorted(zip(docs, scores), key=lambda x: x[1], reverse=True)

    print("查询:", query)
    for doc, score in doc_scores:
        # print(doc, score)
        print(f"{score:0.02f}\t{doc}")
        
        
print("原始模型")
show_examples(org_model)

print("\n\n适配后模型")
show_examples(model)

评估结果

原始模型
查询: 新冠病毒如何传播
33.01	艾滋病毒通过性行为或共用针头传播
32.78	脊髓灰质炎通过受污染的水或食物传播
29.10	新冠病毒通过空气传播
24.41	埃博拉病毒通过直接接触血液传播
10.85	冠状病毒传染性极强


适配后模型
查询: 新冠病毒如何传播
29.82	新冠病毒通过空气传播
27.44	脊髓灰质炎通过受污染的水或食物传播
24.89	埃博拉病毒通过直接接触血液传播
23.81	艾滋病毒通过性行为或共用针头传播
20.03	冠状病毒传染性极强