语言:

• 德语 库名称: sentence-transformers 标签:
• sentence-transformers
• 句子相似度
• 特征提取
• 损失函数: MatryoshkaLoss 基础模型: aari1995/gbert-large-2 评估指标:
• 斯皮尔曼余弦相似度 示例:
• 源句: 一个男人在练习拳击 对比句:
  • 一只猴子在练习武术。
  • 一个人在折叠一张纸。
  • 一个女人在遛狗。
• 源句: 两个女人在跑步 对比句:
  • 女人们在跑步。
  • 女人在检查男人的眼睛。
  • 一个男人在屋顶上。 任务类型: 句子相似度 许可证: Apache-2.0

🇩🇪 德语语义理解模型V3b 🇩🇪

(及German_Semantic_V3)

German_Semantic_STS_V2的继任者现已到来，并带来了一系列炫酷新功能！虽然German_Semantic_V3更侧重知识密度，但V3b版本则更专注于性能表现。欢迎对模型提出反馈意见，告诉我们您期待看到哪些改进。

注意： 要正确运行此模型，请参阅"使用说明"。

重大更新与核心优势：

• 灵活性： 通过支持可变序列长度和嵌入截断训练，灵活性成为模型的核心特性。不过较小维度会带来轻微的质量折损。
• 序列长度： 支持最多8192个token的嵌入（是V2及其他模型的16倍）
• 套娃式嵌入： 模型支持从1024到64的多种嵌入尺寸，能以极小的质量损失大幅缩减存储空间
• 纯德语模型： 专注德语场景，富含德国文化知识。得益于专用分词器，能更高效处理短查询，在多数场景下表现更细腻
• 拼写容错： 训练时增强了对拼写错误和大小写的鲁棒性，虽会轻微影响基准分数，但显著提升了实际应用的稳定性
• 池化方式： 从均值池化转向CLS标记，在第二阶段预训练后学习效果更优，灵活性更高
• 许可证： Apache 2.0开源协议

使用说明：

本模型内置了一些隐藏功能，请使用以下代码调用：

from sentence_transformers import SentenceTransformer

matryoshka_dim = 1024 # 嵌入维度可选：64, 128, 256, 512, 768, 1024
model = SentenceTransformer("aari1995/German_Semantic_V3", trust_remote_code=True, truncate_dim=matryoshka_dim)

# 可动态调整参数
# model.truncate_dim = 64 # 加载后仍可修改截断维度
# model.max_seq_length = 512 # 根据硬件限制调整最大序列长度

# 推理示例
sentences = [
    '旗帜在飘扬',
    '旗帜在风中舞动',
    '两个人在观察水面',
]

# FP16嵌入（节省空间，无损质量）
embeddings = model.encode(sentences, convert_to_tensor=True).half()

# FP32嵌入（占用更多空间）
# embeddings = model.encode(sentences)

# 计算相似度矩阵
similarities = model.similarity(embeddings, embeddings)

常见问题

Q: 相比V2有提升吗？

A: 灵活性显著增强，多数实验表明性能也有提升

Q: V3与V3b的区别？

A: V3基准分数略低但知识更新至2020年后，V3b基准更优但知识截止2020年。V3相似度范围-1到1，V3b为0到1。V3使用CLS池化，V3b采用均值池化。

Q: 相比多语言模型如何？

A: 多语言模型适用性广，但本模型在德国文化理解和本土场景中表现更出色

Q: 缩减嵌入尺寸的影响？

A: 1024→512维度损失约1%，降至64维度时最多损失3%

评估数据

存储空间对比：

基准测试：即将公布

未来计划

German_Semantic_V3_Instruct：支持引导嵌入朝向自定义维度 - 预计2024年发布

致谢名单

• jinaAI 提供的BERT实现（特别是ALiBi技术）
• deepset 优秀的gbert-large基础模型
• occiglot 和OSCAR提供的预训练数据
• Tom 开发的sentence-transformers框架，ellamind的Björn和Jan提供的咨询
• Meta 的XNLI数据集

模型构想、训练与实现：Aaron Chibb