🚀 基于intfloat/multilingual-e5-large的句子转换器

这是一个基于 sentence-transformers 库，从 intfloat/multilingual-e5-large 微调而来的模型。它可以将句子和段落映射到一个1024维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

直接使用（Sentence Transformers）

首先，安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后，你可以加载该模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从 Hugging Face Hub 下载模型
model = SentenceTransformer("meandyou200175/e5_large_finetune_word")
# 进行推理
sentences = [
    'A long appendage protruding from the lower back. Often covered in fur or scales. A common feature of animal girls.',
    'tail',
    'stomach day',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 基于 intfloat/multilingual-e5-large 微调，具有良好的多语言处理能力。
• 能够将句子和段落映射到1024维的密集向量空间，可用于多种自然语言处理任务。

📦 安装指南

安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 Hugging Face Hub 下载模型
model = SentenceTransformer("meandyou200175/e5_large_finetune_word")
# 进行推理
sentences = [
    'A long appendage protruding from the lower back. Often covered in fur or scales. A common feature of animal girls.',
    'tail',
    'stomach day',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 代码仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

评估

指标

信息检索

使用 InformationRetrievalEvaluator 进行评估：

训练详情

训练数据集

未命名数据集

• 大小：10,356 个训练样本
• 列：query 和 positive
• 基于前1000个样本的近似统计信息：

  	查询	正样本
  类型	字符串	字符串
  详情	最小：3 个词元 平均：36.54 个词元 最大：177 个词元	最小：3 个词元 平均：5.3 个词元 最大：13 个词元

• 样本：

  查询	正样本
  Eyewear shaped like a semicircle.	semi-circular eyewear
  A handheld electric appliance used fordryingand styling hair.	hair dryer
  When onebreastis exposed while the other remains covered or confined by clothing. Seebreasts outfor when both breasts are exposed.	one breast out

• 损失函数：MultipleNegativesRankingLoss，参数如下：

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

评估数据集

word_embedding

• 数据集：word_embedding，版本 af76b11
• 大小：1,036 个评估样本
• 列：query 和 positive
• 基于前1000个样本的近似统计信息：

  	查询	正样本
  类型	字符串	字符串
  详情	最小：4 个词元 平均：35.89 个词元 最大：164 个词元	最小：3 个词元 平均：5.38 个词元 最大：14 个词元

• 样本：

  查询	正样本
  A machine that manipulates data according to a list of instructions. The ability to store and execute lists of instructions called programs make computers extremely versatile. On Danbooru's images they are most often used fordrawing,playing gamesand accessing theinternet.	computer
  Aplaying cardwith twoclubs.	two of clubs
  Yebisu (ヱビス, Ebisu) is a beer produced bySapporo Breweries. It is one of Japan's oldest brands, first being brewed in Tokyo in 1890 by the Japan Beer Brewery Company.	yebisu

• 损失函数：MultipleNegativesRankingLoss，参数如下：

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

所有超参数

训练日志

框架版本

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.51.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.5.0
• Tokenizers: 0.21.0

🔧 技术细节

该模型基于 Sentence Transformers 库，从 intfloat/multilingual-e5-large 微调而来。使用了 MultipleNegativesRankingLoss 损失函数进行训练，通过将句子和段落映射到1024维的密集向量空间，实现语义文本相似度计算等任务。

📄 许可证

文档中未提及相关许可证信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}