语言:

• 代码 任务标签: 文本生成 标签:
• llama-2 许可证: llama2

代码骆驼(Code Llama)

代码骆驼是一系列预训练和微调的生成式文本模型，参数规模从70亿到340亿不等。本仓库存储的是Hugging Face Transformers格式的70亿参数指令微调版本。该模型专为通用代码合成与理解而设计。其他模型的链接可在底部索引中找到。

[!注意] 此为非官方代码骆驼仓库。官方Meta仓库请访问Meta骆驼组织。

模型使用

使用前请确保安装transformers库：

pip install transformers accelerate

模型能力：

• [x] 代码补全
• [x] 代码填充
• [x] 指令/对话
• [ ] Python专家模式

模型详情

*注：使用本模型需遵守Meta许可协议。Meta开发并公开发布了代码骆驼系列大语言模型(LLMs)。

开发团队 Meta

版本变体 代码骆驼提供三种规模及三种变体：

• 代码骆驼基础版：通用代码合成与理解
• 代码骆驼-Python版：专为Python设计
• 代码骆驼-Instruct版：指令跟随与安全部署

所有变体均提供7B、13B和34B参数版本。

本仓库存储7B参数模型的指令微调版本

输入 仅接受文本输入

输出 仅生成文本输出

架构 采用优化Transformer架构的自回归语言模型

训练时间 2023年1月至7月期间训练完成

状态 基于离线数据集训练的静态模型。未来将根据社区反馈持续优化安全性的新版本

许可证 商业使用需获取定制许可：https://ai.meta.com/resources/models-and-libraries/llama-downloads/

研究论文 详见《代码骆驼：代码开源基础模型》论文或arXiv页面

适用范围

适用场景 适用于英语及相关编程语言的商业与研究用途。基础版可适配多种代码合成与理解任务，Python版专精Python语言，Instruct版更适用于代码助手与生成应用的安全部署。

非适用场景 任何违反法律法规的使用（包括贸易合规）；非英语场景；违反《可接受使用政策》及《许可协议》的其他用途。

硬件与软件

训练环境 使用定制训练库，在Meta研究超级计算集群完成训练与微调

碳足迹 训练全部9个模型累计消耗40万A100-80GB GPU小时（TDP 350-400W），总排放量65.3吨二氧化碳当量，已通过Meta碳中和计划全额抵消

训练数据

所有实验与发布模型均使用与Llama 2相同但权重不同的数据训练（详见论文第2章表1）

评估结果

模型核心评估与消融实验见论文第3章，安全性评估见第4章

伦理考量与限制

作为新兴技术，代码骆驼存在使用风险。当前测试仅覆盖英语场景，无法穷尽所有情况。与其他LLM类似，其输出可能存在不可预测的偏差或不准确内容。部署前开发者应进行针对具体应用场景的安全性测试与调优。

请参阅《负责任使用指南》：https://ai.meta.com/llama/responsible-use-guide