pipeline_tag: 句子相似度
language: 法语
datasets:

• stsb_multi_mt
  tags:
• 文本
• 句子相似度
• 句子嵌入
• camembert-large
  license: apache-2.0
  model-index:
• name: Van Tuan DANG开发的sentence-camembert-large模型
  results:
  • task:
    name: 句子嵌入
    type: 文本相似度
    dataset:
    name: 法语文本相似度
    type: stsb_multi_mt
    args: fr
    metrics:
    • name: 测试皮尔逊相关系数
      type: 皮尔逊相关系数
      value: 88.63
      library_name: sentence-transformers

描述:

Sentence-CamemBERT-Large 是由 La Javaness 开发的法语句子嵌入模型。该模型旨在将法语句子的内容和语义表示为数学向量，使其能够理解查询和文档中文本的含义，而不仅仅是单个单词。它提供了强大的语义搜索能力。

预训练句子嵌入模型是法语句子嵌入的最新技术。

Lajavaness/sentence-camembert-large 模型是对 dangvantuan/sentence-camembert-base 的改进，提供了更强的鲁棒性，并在所有STS基准数据集上表现更优。该模型基于预训练的 facebook/camembert-large 和 Siamese BERT-Networks with 'sentences-transformers' 在 stsb 数据集上进行了微调。此外，还结合了 Augmented SBERT 在 stsb 数据集上的训练。模型通过使用两种模型进行配对采样策略：CrossEncoder-camembert-large 和 dangvantuan/sentence-camembert-large。

使用方法

该模型可以直接使用（无需语言模型），如下所示：

from sentence_transformers import SentenceTransformer  
model =  SentenceTransformer("Lajavaness/sentence-camembert-large")  

sentences = ["一架飞机正在起飞。",  
          "一个男人在吹长笛。",  
          "一个男人在披萨上撒碎奶酪。",  
          "一个人把猫扔向天花板。",  
          "一个人正在折叠一张纸。",  
          ]  

embeddings = model.encode(sentences)  

评估

该模型可以在法语测试数据上如下评估：

from sentence_transformers import SentenceTransformer  
from sentence_transformers.readers import InputExample  
from datasets import load_dataset  
def convert_dataset(dataset):  
    dataset_samples=[]  
    for df in dataset:  
        score = float(df['similarity_score'])/5.0  # 将分数归一化到0...1范围  
        inp_example = InputExample(texts=[df['sentence1'],   
                                    df['sentence2']], label=score)  
        dataset_samples.append(inp_example)  
    return dataset_samples  

# 加载评估数据集  
df_dev = load_dataset("stsb_multi_mt", name="fr", split="dev")  
df_test = load_dataset("stsb_multi_mt", name="fr", split="test")  

# 转换数据集以进行评估  

# 对于开发集：  
dev_samples = convert_dataset(df_dev)  
val_evaluator = EmbeddingSimilarityEvaluator.from_input_examples(dev_samples, name='sts-dev')  
val_evaluator(model, output_path="./")  

# 对于测试集：  
test_samples = convert_dataset(df_test)  
test_evaluator = EmbeddingSimilarityEvaluator.from_input_examples(test_samples, name='sts-test')  
test_evaluator(model, output_path="./")  

测试结果:
性能通过皮尔逊和斯皮尔曼相关系数衡量：

• 开发集

• 测试集，皮尔逊和斯皮尔曼相关系数在多个不同基准数据集上评估：

皮尔逊得分

斯皮尔曼得分

引用

@article{reimers2019sentence,  
   title={Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks},  
   author={Nils Reimers, Iryna Gurevych},  
   journal={https://arxiv.org/abs/1908.10084},  
   year={2019}  
}  


@article{martin2020camembert,  
   title={CamemBERT: a Tasty French Language Mode},  
   author={Martin, Louis and Muller, Benjamin and Su{\'a}rez, Pedro Javier Ortiz and Dupont, Yoann and Romary, Laurent and de la Clergerie, {\'E}ric Villemonte and Seddah, Djam{\'e} and Sagot, Beno{\^\i}t},  
   journal={Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics},  
   year={2020}  
}