许可证：apache-2.0
流水线标签：句子相似度
标签：

• sentence-transformers
• 特征提取
• 句子相似度
• transformers
• 训练生成

数据集：

• squad
• newsqa
• LLukas22/cqadupstack
• LLukas22/fiqa
• LLukas22/scidocs
• deepset/germanquad
• LLukas22/nq

语言：

• 英语
• 德语

paraphrase-multilingual-mpnet-base-v2-embedding-all

该模型是基于以下数据集微调的版本：paraphrase-multilingual-mpnet-base-v2：squad、newsqa、LLukas22/cqadupstack、LLukas22/fiqa、LLukas22/scidocs、deepset/germanquad、LLukas22/nq。

使用方法（Sentence-Transformers）

安装sentence-transformers后即可轻松使用该模型：

pip install -U sentence-transformers

然后按以下方式使用模型：

from sentence_transformers import SentenceTransformer
sentences = ["这是一个示例句子", "每个句子都会被转换"]

model = SentenceTransformer('LLukas22/paraphrase-multilingual-mpnet-base-v2-embedding-all')
embeddings = model.encode(sentences)
print(embeddings)

训练超参数

训练过程中使用的超参数如下：

• 学习率：1E+00
• 单设备批量大小：40
• 有效批量大小：120
• 随机种子：42
• 优化器：AdamW（beta1=0.9，beta2=0.999，epsilon=1E-08）
• 权重衰减：2E-02
• D-Adaptation：启用
• 预热：启用
• 训练轮次：15
• 混合精度训练：bf16

训练结果

评估结果

框架版本

• Transformers：4.25.1
• PyTorch：2.0.0.dev20230210+cu118
• PyTorch Lightning：1.8.6
• 数据集：2.7.1
• Tokenizers：0.13.1
• Sentence Transformers：2.2.2

附加信息

该模型是作为我的硕士论文《基于Transformer的语言模型在服务信息系统中的应用评估》的一部分训练的。源代码可在Github上获取。