language: de
datasets:

• germandpr-beir
  pipeline_tag: sentence-similarity
  tags:
• 信息检索
• ir
• 文档检索
• 段落检索
• beir
• 基准测试
• qrel
• sts
• 语义搜索
• sentence-transformers
• 特征提取
• 句子相似度
• transformers
  task_categories:
• 句子相似度
• 特征提取
• 文本检索
• 其他
  task_ids:
• 文档检索
  license: mit

PM-AI/bi-encoder_msmarco_bert-base_german 模型卡片

模型概述

本模型可用于语义搜索和文档检索，根据查询找到相关段落。
它基于机器翻译的德语版MSMARCO数据集训练，采用困难负样本和Margin MSE损失函数。
这些要素的结合使其成为非对称搜索领域的尖端Transformer模型。
具体细节如下所述。

该模型可便捷地通过Sentence Transformer库调用。

训练数据

模型训练样本源自**MSMARCO段落排序**数据集，包含约50万条问题和880万段文本。
训练目标是识别与输入问题相关的段落或答案。
内容涵盖多领域，问题形式包括完整句子和关键词变体，
因此基于MSMARCO训练的模型具备跨领域适用性。

原始英文数据集通过机器翻译扩展为多语言版本，
具体采用**"mMARCO: MS MARCO段落排序数据集的多语言版本"**中的谷歌翻译德语语料。

训练脚本基于BEIR框架，
需特定数据结构（如下），通过自定义脚本mmarco_beir.py实现格式转换：

# 生成BEIR兼容格式的语料/查询/qrels文件
import json
import os
import urllib.request
import datasets

LANGUAGE = "german"
OUT_DIR = f"mmarco-google/{LANGUAGE}/"
[...脚本内容省略...]

训练过程

使用**BEIR基准框架训练，
核心创新在于采用困难负样本和Margin MSE损失函数**：

• 负样本来自多系统检索结果（BM25/稠密向量等）
• 通过交叉编码器分数计算样本间距，指导双编码器训练
• 相比传统方法，可处理两个相关段落的情况

关键参数

• 基础模型: deepset/gbert-base
• 批大小: 75
• 序列长度: 350
• 训练轮次: 10
• 损失函数: Margin MSE
• 硬件: NVIDIA A40 (CUDA 11.7)

性能评估

基于重构的**PM-AI/germandpr-beir**数据集测试，
包含9275个问题和23993段文本。关键指标对比：

❗ 注意：

• 本模型较同类ELECTRA架构模型提升达14个百分点
• 优于需要双模型运行的deepset方案（计算成本更高）
• 评估数据存在部分长文本截断影响

致谢

本项目由维尔道应用技术大学(TH Wildau)与sense.ai.tion GmbH合作完成，
获得欧洲区域发展基金(EFRE)和勃兰登堡州资助。