🚀 基于Shuu12121/CodeModernBERT-Owl🦉的句子转换器

该模型是一个基于 Shuu12121/CodeModernBERT-Owl 微调的 sentence-transformers 模型，而 Shuu12121/CodeModernBERT-Owl 是我专门为代码设计、从头开始预训练的 ModernBERT 模型。它专为代码搜索而设计，能够高效计算代码片段和文档之间的语义相似度。该模型的一个关键特性是其 最大序列长度为 2048 个标记，这使其能够处理中等长度的代码片段和文档。尽管它是一个参数约为 1.5 亿 的相对较小的模型，但在代码搜索任务中表现出色。

✨ 主要特性

• 专为代码搜索设计：能够高效计算代码片段和文档之间的语义相似度。
• 长序列处理能力：最大序列长度为 2048 个标记，可处理中等长度的代码片段和文档。
• 小模型高性能：尽管参数约为 1.5 亿，在代码搜索任务中表现出色。

📦 安装指南

要安装 sentence-transformers，请运行以下命令：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 下载并加载模型
model = SentenceTransformer("Shuu12121/CodeSearch-ModernBERT-Owl")

# 推理用的句子列表
sentences = [
    'Encrypts the zip file',
    'def freeze_encrypt(dest_dir, zip_filename, config, opt):\n    \n    pgp_keys = grok_keys(config)\n    icefile_prefix = "aomi-%s" % \\\n                     os.path.basename(os.path.dirname(opt.secretfile))\n    if opt.icefile_prefix:\n        icefile_prefix = opt.icefile_prefix\n\n    timestamp = time.strftime("%H%M%S-%m-%d-%Y",\n                              datetime.datetime.now().timetuple())\n    ice_file = "%s/%s-%s.ice" % (dest_dir, icefile_prefix, timestamp)\n    if not encrypt(zip_filename, ice_file, pgp_keys):\n        raise aomi.exceptions.GPG("Unable to encrypt zipfile")\n\n    return ice_file',
    'def transform(self, sents):\n        \n\n        def convert(tokens):\n            return torch.tensor([self.vocab.stoi[t] for t in tokens], dtype=torch.long)\n\n        if self.vocab is None:\n            raise Exception(\n                "Must run .fit() for .fit_transform() before " "calling .transform()."\n            )\n\n        seqs = sorted([convert(s) for s in sents], key=lambda x: -len(x))\n        X = torch.LongTensor(pad_sequence(seqs, batch_first=True))\n        return X',
]

# 生成嵌入向量
embeddings = model.encode(sentences)
print(embeddings.shape)  # 输出: [3, 768]

# 计算相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)  # 输出: [3, 3]

📚 详细文档

模型评估

CoIR 评估结果

该模型虽然是一个参数约为 1.5 亿 的相对较小的模型，但在 CodeSearchNet 基准测试中取得了令人瞩目的 76.89 分，证明了其在代码搜索任务中的高性能。由于该模型专门用于代码搜索，不支持其他任务，因此未提供其他任务的评估分数。在 CodeSearchNet 任务中，该模型的表现优于许多知名模型，如下表所示。

模型详情

库版本

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.50.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.4.1
• Tokenizers: 0.21.1

引用信息

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

📄 许可证

本项目采用 Apache-2.0 许可证。