🚀 预训练法语句子嵌入模型

预训练的句子嵌入模型代表了法语句子嵌入领域的先进水平。该模型通过特定的微调方式，在法语句子嵌入任务中展现出卓越的性能，为相关自然语言处理应用提供了强大的支持。

🚀 快速开始

预训练的句子嵌入模型是法语句子嵌入领域的先进技术。该模型使用预训练的 flaubert/flaubert_base_uncased 和 Siamese BERT-Networks with 'sentences-transformers' 进行微调，并结合 Augmented SBERT 在数据集 stsb 上进行训练，同时采用了配对采样策略，借助两个模型 CrossEncoder-camembert-large 和 dangvantuan/sentence-camembert-large 完成训练。

✨ 主要特性

• 先进技术融合：结合了预训练模型、Siamese BERT-Networks、Augmented SBERT 等多种先进技术。
• 多模型协同：通过两个不同的模型进行配对采样策略，提升模型性能。
• 多数据集验证：在多个不同的基准数据集上进行评估，确保模型的泛化能力。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer
model =  SentenceTransformer("Lajavaness/sentence-flaubert-base")

sentences = ["Un avion est en train de décoller.",
          "Un homme joue d'une grande flûte.",
          "Un homme étale du fromage râpé sur une pizza.",
          "Une personne jette un chat au plafond.",
          "Une personne est en train de plier un morceau de papier.",
          ]

embeddings = model.encode(sentences)

📚 详细文档

评估

该模型可以在 stsb 的法语测试数据上进行如下评估：

from sentence_transformers import SentenceTransformer
from sentence_transformers.readers import InputExample
from sentence_transformers.evaluation import EmbeddingSimilarityEvaluator
from datasets import load_dataset
def convert_dataset(dataset):
    dataset_samples=[]
    for df in dataset:
        score = float(df['similarity_score'])/5.0  # Normalize score to range 0 ... 1
        inp_example = InputExample(texts=[df['sentence1'], 
                                    df['sentence2']], label=score)
        dataset_samples.append(inp_example)
    return dataset_samples

# Loading the dataset for evaluation
df_dev = load_dataset("stsb_multi_mt", name="fr", split="dev")
df_test = load_dataset("stsb_multi_mt", name="fr", split="test")

# Convert the dataset for evaluation

# For Dev set:
dev_samples = convert_dataset(df_dev)
val_evaluator = EmbeddingSimilarityEvaluator.from_input_examples(dev_samples, name='sts-dev')
val_evaluator(model, output_path="./")

# For Test set:
test_samples = convert_dataset(df_test)
test_evaluator = EmbeddingSimilarityEvaluator.from_input_examples(test_samples, name='sts-test')
test_evaluator(model, output_path="./")

测试结果

性能通过在 sts-benchmark 上的 Pearson 和 Spearman 相关性进行衡量：

开发集

测试集

在许多不同的基准数据集上评估 Pearson 和 Spearman 相关性：

Pearson 分数

Spearman 分数

📄 许可证

本模型采用 Apache-2.0 许可证。

📚 引用

@article{reimers2019sentence,
    title={Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks},
    author={Nils Reimers, Iryna Gurevych},
    journal={https://arxiv.org/abs/1908.10084},
    year={2019}
}

@article{martin2020camembert,
    title={CamemBERT: a Tasty French Language Mode},
    author={Martin, Louis and Muller, Benjamin and Suárez, Pedro Javier Ortiz and Dupont, Yoann and Romary, Laurent and de la Clergerie, Éric Villemonte and Seddah, Djamé and Sagot, Benoît},
    journal={Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics},
    year={2020}
}

@article{thakur2020augmented,
    title={Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks},
    author={Thakur, Nandan and Reimers, Nils and Daxenberger, Johannes and Gurevych, Iryna},
    journal={arXiv e-prints},
    pages={arXiv--2010},
    year={2020}
}