许可证：无许可证
任务类型：句子相似度
语言：

• 俄语
  标签：
• PyTorch
• Transformers
• 电子商务
• 编码器

对包含2.69亿条俄语搜索查询的语料库应用了SentencePiece分词器。

该编码器模型针对电子商务搜索查询相似性任务进行了训练，且搜索查询均为短文本。

用于验证的数据集经过人工标注，包含362,000条实例。

## 别忘了安装
# pip install protobuf sentencepiece  

from transformers import AutoModel, AutoTokenizer  

model = AutoModel.from_pretrained('fkrasnov2/SBE')  
tokenizer = AutoTokenizer.from_pretrained('fkrasnov2/SBE')  

input_ids = tokenizer.encode("чёрное платье", max_length=model.config.max_position_embeddings, truncation=True, return_tensors='pt')  

model.eval()  
vector = model(input_ids=input_ids, attention_mask=input_ids!=tokenizer.pad_token_id)[0][0,0]  

assert model.config.hidden_size == vector.shape[0]  

该模型专为电子商务信息检索设计，可帮助区分产品。

相同产品：

• cos( SBE("apple 16 蓝色 pro max 256"), SBE("iphone 16 蓝色 pro max 256") ) = 0.96
• cos( SBE("iphone 15 pro max"), SBE("苹果15 pro max") ) = 0.98

不同产品：

• cos( SBE("iphone 15 pro max"), SBE("iphone 16 pro max") ) = 0.85