language: 代码 thumbnail:

CodeBERTaPy

CodeBERTaPy 是一个类似RoBERTa的模型，由Manuel Romero基于GitHub的CodeSearchNet数据集针对Python语言训练而成。

分词器采用基于字节级BPE算法，使用Hugging Face的tokenizers库在代码语料上训练。由于专为代码（而非自然语言）优化，其编码效率显著提升——相同语料的分词长度比gpt2/roberta缩短33%至50%。

该（小型）模型为6层结构、8400万参数的类RoBERTa Transformer模型（与DistilBERT层数及注意力头数相同），采用默认初始化配置，并在完整Python语料上从头训练4个周期。

快速体验：掩码语言建模预测

PYTHON代码示例 = """
fruits = ['apples', 'bananas', 'oranges']
for idx, <mask> in enumerate(fruits):
  print("index is %d and value is %s" % (idx, val))
""".lstrip()

模型能补全简单Python代码吗？

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="mrm8488/CodeBERTaPy",
    tokenizer="mrm8488/CodeBERTaPy"
)

fill_mask(PYTHON代码示例)

## 预测Top5结果：

'val' # 概率  0.980728805065155
'value'
'idx'
',val'
'_'

成功！简直易如反掌 🎉 再试个Flask风格示例

PYTHON代码示例2 = """
@app.route('/<name>')
def hello_name(name):
    return "Hello {}!".format(<mask>)

if __name__ == '__main__':
    app.run()
""".lstrip()


fill_mask(PYTHON代码示例2)

## 预测Top5结果：

'name' # 概率  0.9961813688278198
' name'
'url'
'description'
'self'

再次奏效！🎉 最后测试Tensorflow/Keras风格

PYTHON代码示例3="""
model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.<mask>(128, activation='relu'),
    keras.layers.Dense(10, activation='softmax')
])
""".lstrip()


fill_mask(PYTHON代码示例3)

## 预测Top5结果：

'Dense' # 概率   0.4482928514480591
'relu'
'Flatten'
'Activation'
'Conv'

完美！🎉

本项目深受HuggingFace团队CodeBERTa启发

CodeSearchNet引用文献

@article{husain_codesearchnet_2019,
	title = {{CodeSearchNet}挑战赛：语义代码搜索现状评估},
	shorttitle = {{CodeSearchNet}挑战},
	url = {http://arxiv.org/abs/1909.09436},
	urldate = {2020-03-12},
	journal = {arXiv:1909.09436 [cs, stat]},
	author = {Husain, Hamel and Wu, Ho-Hsiang and Gazit, Tiferet and Allamanis, Miltiadis and Brockschmidt, Marc},
	month = sep,
	year = {2019},
	note = {arXiv: 1909.09436},
}

由Manuel Romero/@mrm8488创建
西班牙制造 ❤