CodeBERT-base预训练模型

CodeBERT: 面向编程与自然语言的预训练模型的预训练权重。

训练数据

该模型基于CodeSearchNet的双模态数据（文档与代码）进行训练。

训练目标

本模型以Roberta-base为初始化基础，采用MLM+RTD目标进行训练（详见论文）。

使用说明

支持"代码搜索"和"代码生成文档"功能的脚本请参阅官方代码库。

相关资源

1. 采用掩码语言建模目标的CodeBERT（适用于代码补全场景）
2. 🤗 Hugging Face发布的CodeBERTa（轻量版，6层结构）

引用文献

@misc{feng2020codebert,
    title={CodeBERT: 面向编程与自然语言的预训练模型},
    author={张寅峰、郭大业、唐杜宇、段楠、冯晓成、龚鸣、寿林钧、秦兵、刘挺、蒋大新、周明},
    year={2020},
    eprint={2002.08155},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}