base_model: allenai/longformer-base-4096 datasets:

• sentence-transformers/all-nli
• sentence-transformers/stsb
• sentence-transformers/quora-duplicates
• sentence-transformers/natural-questions language:
• en library_name: sentence-transformers pipeline_tag: sentence-similarity tags:
• sentence-transformers
• sentence-similarity
• feature-extraction
• generated_from_trainer
• dataset_size:65749
• loss:MultipleNegativesRankingLoss
• loss:SoftmaxLoss
• loss:CoSENTLoss widget:
• source_sentence: 一名建筑工人站在起重机上，正在将一根巨大的吊臂安装到在建的雕像顶部。 sentences:
  • 男子穿着黑色衣服
  • 一个人站着
  • 没有人站立
• source_sentence: 一个穿红色衣服的男孩从充气滑梯上滑下。 sentences:
  • 一个拿着电钻的男人站在一个拿着吸尘器软管的女孩旁边
  • 一个男孩正在充气游乐设施上玩耍
  • 一个男孩用刀刺穿了充气游乐设施
• source_sentence: 一只动物正在咀嚼某物。 sentences:
  • 一只系着红色牵引绳的狗在草地上追逐网球
  • 一个男人正在吃东西
  • 一只动物正在咀嚼钥匙链
• source_sentence: 有哪些适合入门机器学习的好书或参考资料？ sentences:
  • 大英帝国衰落的原因是什么？
  • 我应该如何学习机器学习？
  • 随着宇宙膨胀，能否产生无限量的暗能量或真空能量或引力能量？
• source_sentence: 如何吸引女孩？ sentences:
  • 我怎样才能吸引女孩？
  • 为什么我的iPhone 5充不了电？
  • 如果希特勒的德国赢得战争，2016年的世界会是什么样子？

基于allenai/longformer-base-4096的SentenceTransformer模型

这是一个基于allenai/longformer-base-4096微调的sentence-transformers模型，训练数据集包括all-nli-pair、all-nli-pair-class、all-nli-pair-score、all-nli-triplet、stsb、quora和natural-questions。该模型将句子和段落映射到768维密集向量空间，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: allenai/longformer-base-4096
• 最大序列长度: 4098个token
• 输出维度: 768个token
• 相似度函数: 余弦相似度
• 训练数据集:
  • all-nli-pair
  • all-nli-pair-class
  • all-nli-pair-score
  • all-nli-triplet
  • stsb
  • quora
  • natural-questions
• 语言: 英语

模型来源

• 文档: Sentence Transformers文档
• 代码库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 4098, 'do_lower_case': False}) with Transformer model: LongformerModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

使用方式

直接使用(Sentence Transformers)

首先安装Sentence Transformers库：

pip install -U sentence-transformers

然后可以加载该模型并运行推理：

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("Leo1212/longformer-base-4096-sentence-transformers-all-nli-stsb-quora-nq")
# 运行推理
sentences = [
    '如何吸引女孩？',
    '我怎样才能吸引女孩？',
    "为什么我的iPhone 5充不了电？",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

训练详情

训练数据集

all-nli-pair

• 数据集: all-nli-pair
• 大小: 10,000个训练样本
• 列: anchor和positive
• 使用损失函数: MultipleNegativesRankingLoss

all-nli-pair-class

• 数据集: all-nli-pair-class
• 大小: 10,000个训练样本
• 列: premise, hypothesis, 和 label
• 使用损失函数: SoftmaxLoss

all-nli-pair-score

• 数据集: all-nli-pair-score
• 大小: 10,000个训练样本
• 列: sentence1, sentence2, 和 score
• 使用损失函数: CoSENTLoss

all-nli-triplet

• 数据集: all-nli-triplet
• 大小: 10,000个训练样本
• 列: anchor, positive, 和 negative
• 使用损失函数: MultipleNegativesRankingLoss

stsb

• 数据集: stsb
• 大小: 5,749个训练样本
• 列: sentence1, sentence2, 和 score
• 使用损失函数: CoSENTLoss

quora

• 数据集: quora
• 大小: 10,000个训练样本
• 列: anchor和positive
• 使用损失函数: MultipleNegativesRankingLoss

natural-questions

• 数据集: natural-questions
• 大小: 10,000个训练样本
• 列: query和answer
• 使用损失函数: MultipleNegativesRankingLoss

评估数据集

all-nli-triplet

• 数据集: all-nli-triplet
• 大小: 6,584个评估样本
• 列: anchor, positive, 和 negative
• 使用损失函数: MultipleNegativesRankingLoss

stsb

• 数据集: stsb
• 大小: 1,500个评估样本
• 列: sentence1, sentence2, 和 score
• 使用损失函数: CoSENTLoss

quora

• 数据集: quora
• 大小: 1,000个评估样本
• 列: anchor和positive
• 使用损失函数: MultipleNegativesRankingLoss

natural-questions

• 数据集: natural-questions
• 大小: 1,000个评估样本
• 列: query和answer
• 使用损失函数: MultipleNegativesRankingLoss

训练超参数

非默认超参数

• overwrite_output_dir: True
• eval_strategy: steps
• num_train_epochs: 5
• load_best_model_at_end: True

训练日志

• 加粗行表示保存的检查点。

框架版本

• Python: 3.11.9
• Sentence Transformers: 3.1.1
• Transformers: 4.45.2
• PyTorch: 2.3.1+cu121
• Accelerate: 1.0.0
• Datasets: 3.0.1
• Tokenizers: 0.20.0

引用

BibTeX

Sentence Transformers和SoftmaxLoss

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}