语言: [] 库名称: sentence-transformers 标签:

• sentence-transformers
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小: 557850
• 损失函数: MatryoshkaLoss
• 损失函数: MultipleNegativesRankingLoss 基础模型: intfloat/multilingual-e5-small 数据集: [] 评估指标:
• 皮尔逊余弦相似度
• 斯皮尔曼余弦相似度
• 皮尔逊曼哈顿距离
• 斯皮尔曼曼哈顿距离
• 皮尔逊欧几里得距离
• 斯皮尔曼欧几里得距离
• 皮尔逊点积
• 斯皮尔曼点积
• 皮尔逊最大值
• 斯皮尔曼最大值 示例:
• 源句子: 一个精心平衡的男子单脚站在干净的海滩区域附近 对比句子:
  • 一个男子在表演
  • 海滩附近有个男子在外面
  • 一个男子坐在沙发上
• 源句子: 一个男子跳上他脏乱的床 对比句子:
  • 床很脏。
  • 一个男子在洗衣服时大笑
  • 男子在月球上
• 源句子: 女孩们在外边 对比句子:
  • 一个女子在球堆旁绕线成球
  • 男孩们骑着游乐车
  • 三个女孩站在同一个房间里，一个在听，一个在墙上写字，第三个在对她们说话
• 源句子: 男子穿着一件蓝色衬衫。 对比句子:
  • 一个穿蓝色衬衫的男子倚在路边的墙上，背景中有蓝色卡车和红色汽车及水面。
  • 故事书是打开的
  • 一个穿黑色衬衫的男子在弹吉他。
• 源句子: 一个金发年轻男子坐在墙上看报纸，同时一名女子和年轻女孩经过。 对比句子:
  • 一个年轻男子在看报纸，两名女子从他身边经过
  • 一个男子面朝下躺在公园长椅上。
  • 年轻男子在睡觉，而母亲带着女儿去公园 任务类型: 句子相似度 模型索引:
• 名称: 基于intfloat/multilingual-e5-small的SentenceTransformer 结果:
  • 数据集: 配置: ar 名称: MTEB MIRACLRetrievalHardNegatives (ar) 版本: 95c8db7d4a6e9c1d8a60601afd63d553ae20a2eb 分割: dev 类型: mteb/miracl-hard-negatives 指标:
    • 类型: 主要得分 值: 33.441 任务: 类型: 检索
  • 数据集: 配置: ara-ara 名称: MTEB MLQARetrieval (ara-ara) 版本: 397ed406c1a7902140303e7faf60fff35b58d285 分割: test 类型: facebook/mlqa 指标:
    • 类型: 主要得分 值: 64.488 任务: 类型: 检索
  • 数据集: 配置: ar 名称: MTEB MintakaRetrieval (ar) 版本: efa78cc2f74bbcd21eff2261f9e13aebe40b814e 分割: test 类型: jinaai/mintakaqa 指标:
    • 类型: 主要得分 值: 16.162 任务: 类型: 检索
  • 数据集: 配置: default 名称: MTEB SadeemQuestionRetrieval (default) 版本: 3cb0752b182e5d5d740df547748b06663c8e0bd9 分割: test 类型: sadeem-ai/sadeem-ar-eval-retrieval-questions 指标:
    • 类型: 主要得分 值: 63.235 任务: 类型: 检索
  • 任务: 类型: 语义相似度 名称: 语义相似度 数据集: 名称: sts test 384 类型: sts-test-384 指标:
    • 类型: 皮尔逊余弦相似度 值: 0.7883137447514015 名称: 皮尔逊余弦
    • 类型: 斯皮尔曼余弦相似度 值: 0.7971624317482785 名称: 斯皮尔曼余弦
    • 类型: 皮尔逊曼哈顿距离 值: 0.7845904338398069 名称: 皮尔逊曼哈顿
    • 类型: 斯皮尔曼曼哈顿距离 值: 0.7939541836133244 名称: 斯皮尔曼曼哈顿
    • 类型: 皮尔逊欧几里得距离 值: 0.7882887522003604 名称: 皮尔逊欧几里得
    • 类型: 斯皮尔曼欧几里得距离 值: 0.7971601260546269 名称: 斯皮尔曼欧几里得
    • 类型: 皮尔逊点积 值: 0.7883137483129774 名称: 皮尔逊点积
    • 类型: 斯皮尔曼点积 值: 0.7971605875966696 名称: 斯皮尔曼点积
    • 类型: 皮尔逊最大值 值: 0.7883137483129774 名称: 皮尔逊最大值
    • 类型: 斯皮尔曼最大值 值: 0.7971624317482785 名称: 斯皮尔曼最大值
  • 任务: 类型: 语义相似度 名称: 语义相似度 数据集: 名称: sts test 256 类型: sts-test-256 指标:
    • 类型: 皮尔逊余弦相似度 值: 0.7851969391652749 名称: 皮尔逊余弦
    • 类型: 斯皮尔曼余弦相似度 值: 0.7968026743946358 名称: 斯皮尔曼余弦
    • 类型: 皮尔逊曼哈顿距离 值: 0.7852783784725356 名称: 皮尔逊曼哈顿
    • 类型: 斯皮尔曼曼哈顿距离 值: 0.7935883492889713 名称: 斯皮尔曼曼哈顿
    • 类型: 皮尔逊欧几里得距离 值: 0.7882018230746569 名称: 皮尔逊欧几里得
    • 类型: 斯皮尔曼欧几里得距离 值: 0.7963116553267949 名称: 斯皮尔曼欧几里得
    • 类型: 皮尔逊点积 值: 0.7786421988393841 名称: 皮尔逊点积
    • 类型: 斯皮尔曼点积 值: 0.7867782644180616 名称: 斯皮尔曼点积
    • 类型: 皮尔逊最大值 值: 0.7882018230746569 名称: 皮尔逊最大值
    • 类型: 斯皮尔曼最大值 值: 0.7968026743946358 名称: 斯皮尔曼最大值
  • 任务: 类型: 语义相似度 名称: 语义相似度 数据集: 名称: sts test 128 类型: sts-test-128 指标:
    • 类型: 皮尔逊余弦相似度 值: 0.7754967709350954 名称: 皮尔逊余弦
    • 类型: 斯皮尔曼余弦相似度 值: 0.7933453885370457 名称: 斯皮尔曼余弦
    • 类型: 皮尔逊曼哈顿距离 值: 0.7832834632297865 名称: 皮尔逊曼哈顿
    • 类型: 斯皮尔曼曼哈顿距离 值: 0.7907589269176767 名称: 斯皮尔曼曼哈顿
    • 类型: 皮尔逊欧几里得距离 值: 0.7867583047946054 名称: 皮尔逊欧几里得
    • 类型: 斯皮尔曼欧几里得距离 值: 0.7935816990844704 名称: 斯皮尔曼欧几里得
    • 类型: 皮尔逊点积 值: 0.7317253736607925 名称: 皮尔逊点积
    • 类型: 斯皮尔曼点积 值: 0.7335574962775742 名称: 斯皮尔曼点积
    • 类型: 皮尔逊最大值 值: 0.7867583047946054 名称: 皮尔逊最大值
    • 类型: 斯皮尔曼最大值 值: 0.7935816990844704 名称: 斯皮尔曼最大值
  • 任务: 类型: 语义相似度 名称: 语义相似度 数据集: 名称: sts test 64 类型: sts-test-64 指标:
    • 类型: 皮尔逊余弦相似度 值: 0.7625204599039478 名称: 皮尔逊余弦
    • 类型: 斯皮尔曼余弦相似度 值: 0.7837078735068292 名称: 斯皮尔曼余弦
    • 类型: 皮尔逊曼哈顿距离 值: 0.7752889433866854 名称: 皮尔逊曼哈顿
    • 类型: 斯皮尔曼曼哈顿距离 值: 0.7790888579029828 名称: 斯皮尔曼曼哈顿
    • 类型: 皮尔逊欧几里得距离 值: 0.777961287133872 名称: 皮尔逊欧几里得
    • 类型: 斯皮尔曼欧几里得距离 值: 0.7815940757356076 名称: 斯皮尔曼欧几里得
    • 类型: 皮尔逊点积 值: 0.6685094830550401 名称: 皮尔逊点积
    • 类型: 斯皮尔曼点积 值: 0.6621206899696827 名称: 斯皮尔曼点积
    • 类型: 皮尔逊最大值 值: 0.777961287133872 名称: 皮尔逊最大值
    • 类型: 斯皮尔曼最大值 值: 0.7837078735068292 名称: 斯皮尔曼最大值

基于intfloat/multilingual-e5-small的SentenceTransformer

这是一个基于intfloat/multilingual-e5-small微调的sentence-transformers模型，训练数据集为Omartificial-Intelligence-Space/arabic-n_li-triplet。该模型将句子和段落映射到384维密集向量空间，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: intfloat/multilingual-e5-small
• 最大序列长度: 512个标记
• 输出维度: 384个标记
• 相似度函数: 余弦相似度
• 训练数据集: Omartificial-Intelligence-Space/arabic-n_li-triplet

模型来源

• 文档: Sentence Transformers文档
• 代码库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用方式

直接使用(Sentence Transformers)

首先安装Sentence Transformers库:

pip install -U sentence-transformers

然后可以加载此模型并运行推理。

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("Omartificial-Intelligence-Space/E5-Matro")
# 运行推理
sentences = [
    '一个金发年轻男子坐在墙上看报纸，同时一名女子和年轻女孩经过。',
    '一个年轻男子在看报纸，两名女子从他身边经过',
    '年轻男子在睡觉，而母亲带着女儿去公园',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

评估

指标

语义相似度

• 数据集: sts-test-384
• 使用EmbeddingSimilarityEvaluator评估

语义相似度

• 数据集: sts-test-256
• 使用EmbeddingSimilarityEvaluator评估

语义相似度

• 数据集: sts-test-128
• 使用EmbeddingSimilarityEvaluator评估

语义相似度

• 数据集: sts-test-64
• 使用EmbeddingSimilarityEvaluator评估

训练详情

训练数据集

Omartificial-Intelligence-Space/arabic-n_li-triplet

• 数据集: Omartificial-Intelligence-Space/arabic-n_li-triplet
• 大小: 557,850个训练样本
• 列: anchor, positive, 和 negative
• 基于前1000个样本的近似统计:

  	anchor	positive	negative
  类型	字符串	字符串	字符串
  详情	最小: 5个标记 平均: 10.33个标记 最大: 52个标记	最小: 5个标记 平均: 13.21个标记 最大: 49个标记	最小: 5个标记 平均: 15.32个标记 最大: 53个标记

• 样本:

  anchor	positive	negative
  一个人骑着马跳过一架故障的飞机	一个人在户外，骑在马上。	一个人在餐厅点煎蛋。
  孩子们对着相机微笑挥手	有孩子们在场	孩子们皱着眉头
  一个男孩在红色桥中间滑板跳跃。	男孩在做滑板特技	男孩在人行道上滑板

• 损失函数: MatryoshkaLoss 参数如下:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          384,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

评估数据集

Omartificial-Intelligence-Space/arabic-n_li-triplet

• 数据集: Omartificial-Intelligence-Space/arabic-n_li-triplet
• 大小: 6,584个评估样本
• 列: anchor, positive, 和 negative
• 基于前1000个样本的近似统计:

  	anchor	positive	negative
  类型	字符串	字符串	字符串
  详情	最小: 5个标记 平均: 21.86个标记 最大: 105个标记	最小: 4个标记 平均: 10.22个标记 最大: 49个标记	最小: 4个标记 平均: 11.2个标记 最大: 33个标记

• 样本:

  anchor	positive	negative
  两名女子拥抱时拿着一个包裹	两名女子拿着一个包裹	男子们在餐厅外打架
  两个穿蓝色衬衫的小男孩，一个穿9号，另一个穿2号，站在浴室的木台阶上，在水槽里洗手。	两个穿编号衬衫的男孩在洗手	两个穿夹克的男孩去上学
  一名男子在洛杉矶市举办的世界博览会上向顾客出售甜甜圈	一名男子向顾客出售甜甜圈	一名女子在小咖啡馆喝咖啡

• 损失函数: MatryoshkaLoss 参数如下:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          384,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

训练超参数

非默认超参数

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

所有超参数

训练日志