language:

• 代码 pipeline_tag: 文本生成 tags:
• llama-2 license: llama2

代码骆驼（Code Llama）

Code Llama是一系列预训练和微调的生成式文本模型，参数规模从70亿到700亿不等。本仓库存储的是Hugging Face Transformers格式的700亿参数Python专用版本。该模型专为通用代码合成与理解而设计。其他模型的链接可在底部索引中找到。

[!注意] 此为非官方Code Llama仓库。官方Meta仓库请访问Meta Llama组织。

模型使用

使用前请确保安装transformers库：

pip install transformers accelerate

模型能力：

• [x] 代码补全
• [ ] 代码填充
• [ ] 指令/对话
• [x] Python专用

模型详情

*注：本模型使用受Meta许可证约束。Meta开发并公开发布了Code Llama系列大语言模型(LLMs)。

开发团队 Meta

版本变体 Code Llama提供四种规模、三种变体：

• Code Llama：通用代码合成与理解的基础模型
• Code Llama - Python：专为Python设计
• Code Llama - Instruct：用于指令跟随和安全部署

所有变体均提供7B、13B、34B和70B参数版本。

本仓库存储700亿参数模型的Python专用版本

输入 仅接受文本输入

输出 仅生成文本内容

架构设计 Code Llama采用优化Transformer架构的自回归语言模型，微调支持最高16k tokens。本版本不支持100k tokens的长上下文。

训练周期 模型训练时间为2023年1月至2024年1月

版本状态 此为基于离线数据集训练的静态模型。未来将根据社区反馈持续优化Code Llama - Instruct版本的安全性。

许可证 商业使用许可证详见：https://ai.meta.com/resources/models-and-libraries/llama-downloads/

研究论文 更多信息请参阅论文《Code Llama: 代码开源基础模型》或其arXiv页面

适用范围

目标场景 Code Llama系列模型适用于英语及相关编程语言的商业和研究用途。基础模型可用于各类代码合成与理解任务，Python专用版专注处理Python语言，指令调优版更适用于代码助手和生成应用的安全部署。

非适用场景 任何违反法律法规（包括贸易合规法律）的使用；非英语场景应用；违反Code Llama使用政策及许可协议的其他行为。

硬件与软件

训练环境 使用定制训练库，模型训练与微调在Meta研究超级计算集群完成。

碳足迹 训练全部12个Code Llama模型总计消耗140万A100-80GB显卡小时（TDP 350-400W），预估总排放量228.55吨二氧化碳当量，已通过Meta碳中和计划全额抵消。

评估结果

完整评估详见论文第3章核心模型测试与消融实验，安全性评估见第4章。

伦理考量与限制

Code Llama作为新兴技术存在使用风险。当前测试仅覆盖英语场景，无法穷尽所有情况。与所有LLM类似，其输出可能存在不可预测的准确性或内容问题。部署前开发者需针对具体应用场景进行安全测试与调优。

责任使用指南详见：https://ai.meta.com/llama/responsible-use-guide