E5-large-en-ru 模型信息

模型基本信息

这是intfloat/multilingual-e5-large模型的词汇表剪枝版本，仅保留俄语和英语词元。

模型尺寸对比

性能表现

在SberQuAD开发集基准测试中表现相当：

使用指南

• 检索任务使用点积距离
• 非对称任务(如开放QA中的段落检索)使用"query: "和"passage: "前缀
• 对称任务(如语义相似度)统一使用"query: "前缀
• 特征提取任务(如线性探测分类)也使用"query: "前缀

transformers使用示例

直接调用方式

import torch.nn.functional as F
from torch import Tensor
from transformers import XLMRobertaTokenizer, XLMRobertaModel

# 定义平均池化函数
def average_pool(last_hidden_states: Tensor, attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]

# 输入文本示例
input_texts = [
  'query: 企业官网与名片网站有何区别？',
  'query: 第一辆无轨电车是在哪里发明的？',
  'passage: 第一辆无轨电车由德国工程师维尔纳·冯·西门子发明，可能受到其兄弟威廉·西门子博士1881年5月18日在英国皇家科学学会提出的构想影响。电力系统通过八轮接触车沿着两条平行接触线运行...',
  'passage: 企业官网包含公司完整信息，区别于名片网站的特点是信息全面性，通常包含内容管理功能工具(搜索筛选、事件日历、图片库、企业博客等)，可与内部信息系统集成，并可能包含员工、经销商等特定用户的专属版块...'
]

# 加载模型
tokenizer = XLMRobertaTokenizer.from_pretrained('d0rj/e5-large-en-ru', use_cache=False)
model = XLMRobertaModel.from_pretrained('d0rj/e5-large-en-ru', use_cache=False)

# 生成嵌入向量
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')
outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# 计算相似度得分
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T) * 100
print(scores.tolist())
# 输出相似度矩阵

使用pipeline

from transformers import pipeline

# 创建特征提取管道
pipe = pipeline('feature-extraction', model='d0rj/e5-large-en-ru')
embeddings = pipe(input_texts, return_tensors=True)
print(embeddings[0].size())  # 输出嵌入向量维度

sentence-transformers使用示例

from sentence_transformers import SentenceTransformer

# 示例句子
sentences = [
    'query: 什么是圆形张量？',
    'passage: 摘要：我们提出了一种基于径向对称性的圆形张量压缩新方法，首先推广了PCA和特征分解在圆形张量上的应用...'
]

# 加载模型并生成嵌入
model = SentenceTransformer('d0rj/e5-large-en-ru')
embeddings = model.encode(sentences, convert_to_tensor=True)
print(embeddings.size())  # 输出嵌入向量维度