许可证：apache-2.0
流水线标签：句子相似度
标签：

• sentence-transformers
• 特征提取
• 句子相似度
• transformers
• 训练生成

数据集：

• squad
• newsqa
• LLukas22/cqadupstack
• LLukas22/fiqa
• LLukas22/scidocs
• deepset/germanquad
• LLukas22/nq

语言：

• 英文

all-mpnet-base-v2-embedding-all

本模型是基于以下数据集微调的sentence-transformers/all-mpnet-base-v2版本：squad、newsqa、LLukas22/cqadupstack、LLukas22/fiqa、LLukas22/scidocs、deepset/germanquad、LLukas22/nq。

使用方法（Sentence-Transformers）

安装sentence-transformers后即可轻松使用本模型：

pip install -U sentence-transformers

调用示例：

from sentence_transformers import SentenceTransformer
sentences = ["这是一个示例句子", "每个句子将被转换"]

model = SentenceTransformer('LLukas22/all-mpnet-base-v2-embedding-all')
embeddings = model.encode(sentences)
print(embeddings)

训练超参数

训练过程中使用的超参数如下：

• 学习率：1E+00
• 单设备批次大小：60
• 有效批次大小：180
• 随机种子：42
• 优化器：AdamW（beta1=0.9，beta2=0.999，eps=1E-08）
• 权重衰减：2E-02
• 启用D-Adaptation
• 启用热身训练
• 训练轮次：15
• 混合精度训练：bf16

训练结果

评估结果

框架版本

• Transformers：4.25.1
• PyTorch：2.0.0.dev20230210+cu118
• PyTorch Lightning：1.8.6
• 数据集：2.7.1
• Tokenizers：0.13.1
• Sentence Transformers：2.2.2

附加信息

本模型是作为我的硕士论文《基于Transformer的语言模型在服务信息系统中的应用评估》的一部分训练的。源代码可在Github获取。