语言:

• tr 标签:
• 句子转换器
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小:482091
• 损失函数:多重负例排序损失 基础模型: intfloat/multilingual-e5-small 小部件:
• 源句: 或者出去走走，或者跑跑步。我不经常这样做，但华盛顿是个做这些的好地方。 句子:
  • "华盛顿是散步或跑步的好地方。"
  • H-2A外星人在美国停留的时间很短。
  • "我在华盛顿经常散步或跑步。"
• 源句: 中部高原和南部海岸之间的对比再明显不过了。 句子:
  • 听力辅助兼容性谈判规则委员会是联邦通信委员会的产物。
  • 山地和海岸之间的对比很容易标记。
  • 对比无法标记。
• 源句: 1997年亨利·J·凯泽家庭基金会的一项调查发现，美国人对管理式医疗计划基本满意。 句子:
  • 追踪老虎时必须非常安静。
  • 亨利·凯泽基金会显示人们喜欢医疗服务。
  • 亨利·凯泽基金会显示人们讨厌医疗服务。
• 源句: 我确信他们做了。 句子:
  • 我确信他们做了。
  • 西德克萨斯州的气温是100华氏度。
  • 我确信他们没有做。
• 源句: 事实上，父亲是对的，儿子已经体验过一切，尝试过所有事情，兴趣减少了。 句子:
  • 儿子对一切失去了兴趣。
  • 我没做什么。
  • 父亲知道儿子还有很多事情要体验。 数据集:
• emrecan/all-nli-tr 管道标签: 句子相似度 库名称: sentence-transformers 指标:
• 余弦准确度 模型索引:
• 名称: 基于intfloat/multilingual-e5-small的SentenceTransformer 结果:
  • 任务: 类型: 三元组 名称: 三元组 数据集: 名称: all nli dev 类型: all-nli-dev 指标:
    • 类型: 余弦准确度 值: 0.927973210811615 名称: 余弦准确度

基于intfloat/multilingual-e5-small的SentenceTransformer

这是一个从intfloat/multilingual-e5-small微调而来的sentence-transformers模型，使用了all-nli-tr数据集。它将句子和段落映射到384维的密集向量空间，可用于语义文本相似度、语义搜索、释义挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: intfloat/multilingual-e5-small
• 最大序列长度: 512个标记
• 输出维度: 384维
• 相似度函数: 余弦相似度
• 训练数据集:
  • all-nli-tr
• 语言: tr

模型来源

• 文档: Sentence Transformers文档
• 仓库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用

直接使用 (Sentence Transformers)

首先安装Sentence Transformers库:

pip install -U sentence-transformers

然后可以加载此模型并运行推理。

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("x1saint/intfloat-triplet-v2")
# 运行推理
sentences = [
    '事实上，父亲是对的，儿子已经体验过一切，尝试过所有事情，兴趣减少了。',
    '儿子对一切失去了兴趣。',
    '父亲知道儿子还有很多事情要体验。',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 获取嵌入的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

评估

指标

三元组

• 数据集: all-nli-dev
• 使用TripletEvaluator评估

训练详情

训练数据集

all-nli-tr

• 数据集: all-nli-tr at daeabfb
• 大小: 482,091个训练样本
• 列: anchor, positive, 和 negative
• 基于前1000个样本的近似统计:

  	anchor	positive	negative
  类型	字符串	字符串	字符串
  详情	最小: 5个标记 平均: 28.16个标记 最大: 151个标记	最小: 5个标记 平均: 15.14个标记 最大: 49个标记	最小: 4个标记 平均: 14.33个标记 最大: 55个标记

• 样本:

  anchor	positive	negative
  整个赛季，我想在你这个水平上，你会把他们降到下一个级别。如果决定叫家长队，勇士队决定叫三A队中的一员，一个双打球员会去代替他，一个单打球员会来。	如果人们记得，你会降到下一个级别。	他们什么都不记得。
  我们中的一个人很快就会执行你的指令。	我的一个团队成员会非常精确地执行你的指令。	目前没有人有空，所以你也必须行动。
  你怎么知道？所有这些又是他们的信息。	这些信息属于他们。	他们没有任何信息。

• 损失函数: MultipleNegativesRankingLoss 参数如下:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

评估数据集

all-nli-tr

• 数据集: all-nli-tr at daeabfb
• 大小: 6,567个评估样本
• 列: anchor, positive, 和 negative
• 基于前1000个样本的近似统计:

  	anchor	positive	negative
  类型	字符串	字符串	字符串
  详情	最小: 3个标记 平均: 26.66个标记 最大: 121个标记	最小: 5个标记 平均: 14.98个标记 最大: 49个标记	最小: 4个标记 平均: 14.4个标记 最大: 37个标记

• 样本:

  anchor	positive	negative
  我不知道。我对他有复杂的感情。有时我喜欢他，但我也喜欢看到有人打他。	我大多喜欢他，但还是喜欢看到有人打他。	他是我的最爱，我不想看到有人打败他。
  你和你的朋友在这里不受欢迎，塞文说。	塞文说那里的人不受欢迎。	塞文说那里的人总是受欢迎的。
  不确定昨晚最低温度是多少。	不知道昨晚有多冷。	昨晚气温是37度。

• 损失函数: MultipleNegativesRankingLoss 参数如下:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 256
• per_device_eval_batch_size: 256
• gradient_accumulation_steps: 4
• num_train_epochs: 10
• warmup_ratio: 0.1
• bf16: True
• dataloader_num_workers: 4

训练日志

框架版本

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.0
• Tokenizers: 0.21.0

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}