🚀 FractalGPT/SbertDistil

FractalGPT/SbertDistil是一个基于sentence-transformers的模型。它能将句子和段落映射到384维的密集向量空间，可用于聚类、语义搜索等任务。这是一个轻量级的快速模型，用于解决句子相似度判定问题，未来还会对其进行进一步的加速和轻量化。项目链接

🚀 快速开始

安装依赖

使用该模型前，需要安装sentence-transformers：

pip install -U sentence-transformers

代码示例

安装完成后，你可以按照如下方式使用该模型：

import numpy as np
from sentence_transformers import SentenceTransformer

model = SentenceTransformer('FractalGPT/SbertDistil')

def cos(x, y):
  return np.dot(x, y)/(np.linalg.norm(x)*np.linalg.norm(y))

text_1 = "Кто такой большой кот?"
text_2 = "Who is kitty?"
a = model.encode(text_1)
b = model.encode(text_2)
cos(a, b)

>>> 0.8072159157330788

你也可以在Collab中运行示例。

📚 详细文档

训练信息

• 初始权重：模型的初始权重来自于cointegrated/rubert-tiny2。
• 训练阶段：模型的训练分为两个阶段：
  1. 第一阶段：在维基百科文本（400万条文本）上进行了三个周期的训练。
  2. 第二阶段：在维基百科和对话数据集上进行了一个周期的训练。

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 312, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
  (2): Dense({'in_features': 312, 'out_features': 384, 'bias': True, 'activation_function': 'torch.nn.modules.linear.Identity'})
)

📄 许可证

本项目采用Apache 2.0许可证。