🚀 richinfoai/ritrieve_zh_v1 模型

本模型由 richinfoai 训练，用于句子相似度任务。它基于蒸馏学习，从多个优秀模型中汲取优势，在 MTEB(cmn, v1) 上取得了出色的效果。

🚀 快速开始

本模型无需指令，可在 SentenceTransformer 中直接使用：

import os

os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
from sentence_transformers import SentenceTransformer

text_encoder = SentenceTransformer("richinfoai/ritrieve_zh_v1")
texts = [
    "什么是人工智能",
    "介绍一下主流的LLM",
    "人工智能（AI）是模拟人类智能的计算机系统，能够执行学习、推理和决策等任务。它通过算法和大数据实现自动化，广泛应用于各行各业。"
]
vectors = text_encoder.encode(texts, normalize_embeddings=True)
print(vectors @ vectors.T)
# [[0.9999999  0.67707014 0.91421044]
#  [0.67707014 0.9999998  0.6353945 ]
#  [0.91421044 0.6353945  1.0000001 ]]

✨ 主要特性

• 基于蒸馏学习，从多个优秀模型中进行训练，在 MTEB(cmn, v1) 上取得了出色的效果。
• 无需指令，可直接在 SentenceTransformer 中使用。

📦 安装指南

暂未提供安装步骤相关内容。

📚 详细文档

模型介绍

本模型由 richinfoai 训练。参考 Stella and Jasper models，我们从 lier007/xiaobu-embedding-v2、dunzhang/stella-large-zh-v3-1792d 和 BAAI/bge-multilingual-gemma2 进行蒸馏训练。由于这些模型的出色表现，我们的模型在 MTEB(cmn, v1) 上取得了优异的结果。

我们相信该模型再次证明了蒸馏学习的有效性。未来，我们将基于各种优秀的向量训练方法，训练更多的双语向量模型。

训练方法

阶段一

我们使用 BAAI/Infinity-Instruct 和 opencsg/chinese-fineweb-edu 作为训练数据，从上述三个模型进行蒸馏训练。在这个阶段，我们仅使用余弦损失。

阶段二

阶段二的目标是降维。我们使用与阶段一相同的训练数据，并使用 similarity loss。阶段二之后，模型的维度为 1792。

🔧 技术细节

本模型的训练基于蒸馏学习，从多个优秀的预训练模型中进行知识迁移。通过两个阶段的训练，逐步优化模型的性能和维度。

📄 许可证

本模型使用 MIT 许可证。

📋 模型信息