许可证: bsd-3-clause
标签:

• codet5
  数据集:
• code_search_net
  推理: true

用于代码摘要的CodeT5-base模型

CodeT5-base模型在多语言训练设置（Ruby/JavaScript/Go/Python/Java/PHP）下针对代码摘要任务在CodeSearchNet数据上进行了微调。该模型由Yue Wang、Weishi Wang、Shafiq Joty和Steven C.H. Hoi在EMNLP 2021论文CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation中提出。更多详情请查看此代码库。

使用方法

以下是使用该模型的示例代码：

from transformers import RobertaTokenizer, T5ForConditionalGeneration  

if __name__ == '__main__':  
    tokenizer = RobertaTokenizer.from_pretrained('Salesforce/codet5-base-multi-sum')  
    model = T5ForConditionalGeneration.from_pretrained('Salesforce/codet5-base-multi-sum')  

    text = """def svg_to_image(string, size=None):  
    if isinstance(string, unicode):  
        string = string.encode('utf-8')  
        renderer = QtSvg.QSvgRenderer(QtCore.QByteArray(string))  
    if not renderer.isValid():  
        raise ValueError('Invalid SVG data.')  
    if size is None:  
        size = renderer.defaultSize()  
        image = QtGui.QImage(size, QtGui.QImage.Format_ARGB32)  
        painter = QtGui.QPainter(image)  
        renderer.render(painter)  
    return image"""  

    input_ids = tokenizer(text, return_tensors="pt").input_ids  

    generated_ids = model.generate(input_ids, max_length=20)  
    print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))  
    # 输出结果为: "Convert a SVG string to a QImage."  

微调数据

我们采用了来自CodeXGLUE基准的CodeSearchNet数据[Husain et al., 2019]的过滤版本进行代码摘要任务的微调。数据使用我们预训练的代码专用BPE（Byte-Pair Encoding）分词器进行分词。可以使用RobertaTokenizer配合codet5-base中的词汇文件为模型准备文本（或代码）。

数据统计

训练过程

我们在多任务学习设置下对这六种编程语言（Ruby/JavaScript/Go/Python/Java/PHP）的codet5-base模型进行了微调。采用平衡采样以避免偏向高资源任务。更多细节请参阅论文。

评估结果

与论文中允许为不同编程语言（PLs）选择不同最佳检查点不同，此处我们对所有PLs使用单一检查点。此外，我们在训练和推理中去除了用于指定PL的任务控制前缀。测试集上的结果如下：

引用

@inproceedings{  
    wang2021codet5,  
    title={CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation},   
    author={Yue Wang, Weishi Wang, Shafiq Joty, Steven C.H. Hoi},  
    booktitle={Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, EMNLP 2021},  
    year={2021},  
}