语言:

• 代码 任务标签: 文本生成 标签:
• llama-2 许可证: llama2

代码骆驼(Code Llama)

Code Llama是一系列预训练和微调的生成文本模型集合，参数量级从70亿到700亿不等。本仓库为Hugging Face Transformers格式的700亿参数基础版本。该模型专为通用代码合成与理解设计。其他模型链接详见底部索引。

[!注意] 此为非官方Code Llama仓库。官方Meta仓库请访问Meta Llama组织。

模型使用

使用前请确保安装transformers库：

pip install transformers accelerate

当前功能支持：

• [x] 代码补全
• [ ] 代码填充
• [ ] 指令交互/聊天
• [ ] Python专项处理

模型详情

注：使用本模型需遵守Meta许可协议。Meta开发并开源了Code Llama系列大语言模型(LLMs)。

开发团队 Meta

版本变体 提供四种规模及三种变体：

• Code Llama：通用代码合成与理解的基础模型
• Code Llama-Python：专为Python设计的版本
• Code Llama-Instruct：支持指令跟随的安全部署版本

所有变体均提供7B/13B/34B/70B参数规格。

本仓库包含70B参数的基础版本

输入 仅接受文本输入

输出 仅生成文本内容

架构设计 采用优化Transformer架构的自回归语言模型。支持16k tokens微调与100k tokens推理。

训练周期 2023年1月至2024年1月完成训练

状态 基于离线数据集的静态模型。后续将根据社区反馈持续优化Instruct版本安全性。

许可证 商业使用许可详见：https://ai.meta.com/resources/models-and-libraries/llama-downloads/

研究论文 详见《Code Llama: Open Foundation Models for Code》论文或arXiv页面

适用范围

目标场景 适用于英语及相关编程语言的商业研究场景。基础版支持多样化代码任务，Python版专注Python生态，Instruct版更适用于代码助手等安全敏感场景。

限制场景 禁止用于违法用途、非英语环境及其他违反使用政策的场景。

硬件与算力

训练配置 使用Meta自研训练库，在Research Super Cluster超算集群完成训练。

碳足迹 累计消耗140万A100-80GB显卡小时(功耗350-400W)，总排放228.55吨CO2当量，已通过Meta碳中和计划全额抵消。

评估结果

完整评估详见论文第3章核心模型测试与第4章安全评估。

伦理限制

作为新兴技术，Code Llama存在潜在使用风险。当前测试仅覆盖英语场景，无法穷尽所有情况。与其他LLM类似，其输出可能存在不可预测的偏差。开发者需针对具体应用场景进行安全测试与调优。

责任使用指南详见：https://ai.meta.com/llama/responsible-use-guide