license: apache-2.0 datasets:

• code-search-net/code_search_net pipeline_tag: fill-mask tags:
• code metrics:
• code_eval new_version: Shuu12121/CodeHawks-ModernBERT

CodeMorph-ModernBERT

概述

CodeMorph-ModernBERT 是一款专为代码搜索与代码理解任务从头训练的预训练模型。本模型基于 code-search-net/code_search_net 数据集训练，强化了对代码语义的理解能力。
支持最大2048个token的序列长度（传统微软模型仅支持512token），在Python代码搜索任务中表现尤为突出。

• 架构: ModernBERT基础架构
• 用途: 代码搜索/代码理解/代码补全
• 训练数据: CodeSearchNet（全语种）
• 许可证: Apache 2.0

核心特性

• 长序列支持
  可处理长达2048个token的序列，适用于冗长代码和复杂函数

• 卓越的代码搜索性能
  采用面向6种编程语言的SentencePiece分词器，搜索精度显著超越前代模型

• 专项训练模型
  基于CodeSearchNet数据集从头训练，深入理解代码语法与注释关联

参数配置

模型采用以下参数设计：

使用指南

通过Hugging Face Transformers库可快速加载本模型（需4.48.0及以上版本）

• 使用示例见此

加载模型

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Shuu12121/CodeMorph-ModernBERT")
model = AutoModelForMaskedLM.from_pretrained("Shuu12121/CodeMorph-ModernBERT")

掩码填充

from transformers import pipeline

fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)
print(fill_mask("def add_numbers(a, b): return a + [MASK]"))

获取代码嵌入

import torch

def get_embedding(text, model, tokenizer, device="cuda"):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=256)
    if "token_type_ids" in inputs:
        inputs.pop("token_type_ids")
    inputs = {k: v.to(device) for k, v in inputs.items()}
    outputs = model.model(**inputs)
    embedding = outputs.last_hidden_state[:, 0, :]
    return embedding

embedding = get_embedding("def my_function(): pass", model, tokenizer)
print(embedding.shape)

训练数据

本模型使用code-search-net/code_search_net数据集训练，该数据集包含Python/Java/JavaScript等多语言代码片段，是代码搜索任务的理想选择。

评估表现

基于code_x_glue_ct_code_to_text数据集的Python子集评估结果如下：
完整实验记录详见此链接

横向对比

与其他主流代码搜索模型的对比结果：

代码搜索专项评估(google/code_x_glue_tc_nl_code_search_adv测试集)

在候选池规模为100的设置下，各模型表现对比：
补充实验代码参见此仓库

多语言评估

基于1000条抽样数据的多语言评估结果：
完整实验参见此笔记本

值得注意的是，Salesforce/codet5p-220m-bimodal模型在多数语种上表现更优：

但在google/code_x_glue_tc_nl_code_search_adv测试集上，本模型展现优势：

许可协议

本模型采用Apache-2.0开源协议。

联系方式

如有疑问请联系：shun0212114@outlook.jp