license: llama2
tags:

• llama-2
• codellama

CodeLlama 34B-Python fp16

• 模型创建者：Meta

描述

这是CodeLlama 34B-Python的Transformers/HF格式fp16权重。它是从Meta下载CodeLlama 34B-Python并使用convert_llama_weights_to_hf.py转换为HF格式的结果。

量化版本将很快推出。

请注意，由于RoPE Theta值的更改，为了获得正确的结果，您必须使用trust_remote_code=True加载这些FP16模型。

感谢@emozilla创建了必要的建模代码来实现这一点！

提示模板：待定

Discord

如需进一步支持以及关于这些模型和AI的讨论，请加入我们的：

TheBloke AI的Discord服务器

感谢及如何贡献

感谢chirper.ai团队！

很多人问我是否可以贡献。我很乐意提供模型并帮助人们，并希望能够花更多时间做这些事情，以及扩展到新的项目，如微调/训练。

如果您有能力并愿意贡献，这将是最受欢迎的，并将帮助我继续提供更多模型，并开始新的AI项目。

捐赠者将在所有AI/LLM/模型问题和请求上获得优先支持，访问私人Discord房间以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢：Aemon Algiz。

Patreon特别提及：Sam, theTransient, Jonathan Leane, Steven Wood, webtim, Johann-Peter Hartmann, Geoffrey Montalvo, Gabriel Tamborski, Willem Michiel, John Villwock, Derek Yates, Mesiah Bishop, Eugene Pentland, Pieter, Chadd, Stephen Murray, Daniel P. Andersen, terasurfer, Brandon Frisco, Thomas Belote, Sid, Nathan LeClaire, Magnesian, Alps Aficionado, Stanislav Ovsiannikov, Alex, Joseph William Delisle, Nikolai Manek, Michael Davis, Junyu Yang, K, J, Spencer Kim, Stefan Sabev, Olusegun Samson, transmissions 11, Michael Levine, Cory Kujawski, Rainer Wilmers, zynix, Kalila, Luke @flexchar, Ajan Kanaga, Mandus, vamX, Ai Maven, Mano Prime, Matthew Berman, subjectnull, Vitor Caleffi, Clay Pascal, biorpg, alfie_i, 阿明, Jeffrey Morgan, ya boyyy, Raymond Fosdick, knownsqashed, Olakabola, Leonard Tan, ReadyPlayerEmma, Enrico Ros, Dave, Talal Aujan, Illia Dulskyi, Sean Connelly, senxiiz, Artur Olbinski, Elle, Raven Klaugh, Fen Risland, Deep Realms, Imad Khwaja, Fred von Graf, Will Dee, usrbinkat, SuperWojo, Alexandros Triantafyllidis, Swaroop Kallakuri, Dan Guido, John Detwiler, Pedro Madruga, Iucharbius, Viktor Bowallius, Asp the Wyvern, Edmond Seymore, Trenton Dambrowitz, Space Cruiser, Spiking Neurons AB, Pyrater, LangChain4j, Tony Hughes, Kacper Wikieł, Rishabh Srivastava, David Ziegler, Luke Pendergrass, Andrey, Gabriel Puliatti, Lone Striker, Sebastain Graf, Pierre Kircher, Randy H, NimbleBox.ai, Vadim, danny, Deo Leter

感谢所有慷慨的赞助者和捐赠者！

再次感谢a16z的慷慨资助。

原始模型卡

Code Llama

模型详情

模型开发者 Meta AI

变体 Code Llama有三种模型大小和三种变体：

1. Code Llama：我们的基础模型，设计用于通用代码合成和理解
2. Code Llama - Python：专门为Python设计
3. Code Llama - Instruct：用于指令跟随和更安全的部署

所有变体都有7B、13B和34B参数的大小。

输入 模型仅输入文本。

输出 模型仅输出文本。

模型架构 Code Llama及其变体是使用优化的transformer架构的自回归语言模型。Code Llama 7B和13B还支持填充文本生成。所有模型都经过最多16K tokens的微调，并在推理时支持最多100K tokens。

模型日期 Code Llama及其变体在2023年1月至2023年7月期间训练。

状态 这是一个在离线数据集上训练的静态模型。Code Llama - Instruct的未来版本将随着我们通过社区反馈改进模型安全性而发布。

许可证 可在https://ai.meta.com/resources/models-and-libraries/llama-downloads/获取自定义商业许可证。

研究论文 更多信息可在论文“Code Llama: Open Foundation Models for Code”中找到。

反馈发送地址 有关如何提供反馈或评论的说明可在模型README中找到，或通过在GitHub存储库中打开问题（https://github.com/facebookresearch/codellama/）。

预期用途

预期用例 Code Llama及其变体旨在用于英语和相关编程语言的商业和研究用途。基础模型Code Llama可以适应各种代码合成和理解任务，Code Llama - Python专门设计用于处理Python编程语言，而Code Llama - Instruct旨在更安全地用于代码助手和生成应用。

超出范围用途 以任何违反适用法律或法规（包括贸易合规法律）的方式使用。在英语以外的语言中使用。以任何其他被Code Llama及其变体的可接受使用政策和许可协议禁止的方式使用。

硬件和软件

训练因素
我们使用了自定义训练库。发布的模型的训练和微调是在Meta的研究超级集群上进行的。

碳足迹 总计，训练所有9个Code Llama模型需要400K GPU小时的计算，硬件类型为A100-80GB（TDP为350-400W）。估计总排放量为65.3 tCO2eq，其中100%由Meta的可持续发展计划抵消。

训练数据
这里报告的所有实验和发布的模型都使用与Llama 2相同的数据进行训练和微调，但权重不同（详见研究论文的第2节和表1）。
Code Llama - Instruct使用了额外的指令微调数据。

评估结果
请参阅研究论文第3节的主要模型和详细消融实验以及第4节的安全性评估。

伦理考量和限制

Code Llama及其变体是一项新技术，使用时存在风险。迄今为止的测试仅在英语中进行，并未涵盖也不可能涵盖所有场景。因此，与所有LLM一样，Code Llama的潜在输出无法提前预测，模型在某些情况下可能会对用户提示产生不准确或令人反感的响应。因此，在部署任何Code Llama应用之前，开发人员应进行针对其特定应用模型的安全测试和调整。

请参阅可用的负责任使用指南：https://ai.meta.com/llama/responsible-user-guide。