license: bsd-3-clause

CodeGen (CodeGen-Multi 2B)

模型描述

CodeGen是论文《程序合成的对话范式》中提出的用于程序合成的自回归语言模型家族，作者包括Erik Nijkamp、Bo Pang等。该模型最初发布于此代码库，包含3种预训练数据变体（NL、Multi、Mono）和4种模型规模变体（350M、2B、6B、16B）。

本仓库包含的检查点在论文中称为CodeGen-Multi 2B，其中"Multi"表示模型基于CodeGen-NL 2B初始化后，继续在多编程语言数据集上预训练；"2B"指可训练参数数量。

训练数据

该检查点（CodeGen-Multi 2B）首先以CodeGen-NL 2B初始化，然后在BigQuery上进行预训练——这是一个包含GitHub仓库中多种编程语言的大规模数据集。数据包含1192亿token，涵盖C、C++、Go、Java、JavaScript和Python。

训练过程

CodeGen使用交叉熵损失函数，通过最大化序列输入的似然概率进行训练。模型家族采用谷歌TPU-v4-512集群进行数据和模型并行训练。详见论文第2.3节。

评估结果

我们在两个代码生成基准测试（HumanEval和MTPB）上评估模型性能。详见论文。

使用场景与限制

作为自回归语言模型，CodeGen能够从给定的自然语言和编程语言文本中提取特征并计算似然概率。但该模型专为程序合成设计，即根据英文提示生成可执行代码（提示应以注释字符串形式给出），也可用于补全部分生成的代码。

使用方法

可通过AutoModelForCausalLM轻松加载模型：

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Salesforce/codegen-2B-multi")
model = AutoModelForCausalLM.from_pretrained("Salesforce/codegen-2B-multi")

text = "def hello_world():"
input_ids = tokenizer(text, return_tensors="pt").input_ids

generated_ids = model.generate(input_ids, max_length=128)
print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))

伦理考量

本版本仅供支持学术论文的研究用途。我们的模型、数据集和代码并非为所有下游用途设计或评估。强烈建议用户在部署前评估并解决可能涉及的准确性、安全性和公平性问题。我们鼓励用户考虑AI的普遍局限性，遵守适用法律，并为高风险场景选择最佳实践——这些场景中的错误或滥用可能严重影响人们的生活、权利或安全。使用案例指南请参考我们的AUP和AI AUP。

BibTeX引用信息

@article{Nijkamp2022ACP,
  title={A Conversational Paradigm for Program Synthesis},
  author={Nijkamp, Erik and Pang, Bo and Hayashi, Hiroaki and Tu, Lifu and Wang, Huan and Zhou, Yingbo and Savarese, Silvio and Xiong, Caiming},
  journal={arXiv preprint},
  year={2022}
}