license: bsd-3-clause

CodeT5+ 220M 双模态模型

模型描述

CodeT5+ 是一个新型开源代码大语言模型家族，采用编码器-解码器架构，可灵活切换不同模式（如仅编码器、仅解码器或编码器-解码器组合），以支持广泛的代码理解与生成任务。该模型在论文中首次提出：

CodeT5+: 面向代码理解与生成的开源代码大语言模型 作者：王越*、黎雄*、Akhilesh Deepak Gotmare、裴德庆、李俊楠、许子衡（*表示同等贡献）。

相较于原始CodeT5系列（基础版220M参数，大型版770M参数），CodeT5+通过多样化的预训练任务进行训练，包括片段去噪、因果语言建模、对比学习和文本-代码匹配，从而从单模态代码数据和双模态文本-代码数据中学习丰富表征。该模型还采用高效计算预训练方法，利用冻结的现成大语言模型（如[CodeGen](https://github.com/salesforce/CodeGen）初始化组件，可高效扩展至20亿、60亿、160亿参数规模，并采用"浅编码器-深解码器"架构。此外，模型经过指令微调以对齐自然语言指令（参见InstructCodeT5+ 16B），遵循Code Alpaca方案。

使用方法

本模型可通过AutoModel轻松加载，使用CodeT5分词器并新增三个特殊标记（[ENC]、[TDEC]、[CDEC]）。该检查点包含CodeT5+ 220M模型、投影层及文本-代码匹配的itm_head层。

from transformers import AutoModel, AutoTokenizer

checkpoint = "Salesforce/codet5p-220m-bimodal"
device = "cuda"  # 使用GPU或"cpu"使用CPU

tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)
model = AutoModel.from_pretrained(checkpoint, trust_remote_code=True).to(device)

预训练数据

本检查点基于github-code数据集去重后的严格许可子集训练。数据预处理时仅保留宽松许可证代码（"mit"、"apache-2"、"bsd-3-clause"、"bsd-2-clause"、"cc0-1.0"、"unlicense"、"isc"）。支持9种编程语言：C、C++、C#、Go、Java、JavaScript、PHP、Python、Ruby。

训练流程

本检查点首先在第一阶段预训练中使用单模态代码数据，随后使用提出的多任务预训练方法在双模态文本-代码对数据上训练。详见论文。

评估结果

详见论文及官方GitHub仓库。

引用信息

@article{wang2023codet5plus,
  title={CodeT5+: Open Code Large Language Models for Code Understanding and Generation},
  author={Wang, Yue and Le, Hung and Gotmare, Akhilesh Deepak and Bui, Nghi D.Q. and Li, Junnan and Hoi, Steven C. H.},
  journal={arXiv preprint},
  year={2023}
}

伦理考量

本版本仅供支持学术论文的研究用途。我们的模型、数据集和代码并非针对所有下游用途设计或评估。强烈建议用户在部署前评估并解决准确性、安全性和公平性方面的潜在问题。我们鼓励用户考虑AI的普遍局限性，遵守适用法律，在选择应用场景时遵循最佳实践，特别是可能显著影响人们生活、权利或安全的高风险场景。有关使用场景的进一步指导，请参考我们的AUP和AI AUP。