许可协议：llama3
数据集：

• ajibawa-2023/Code-290k-ShareGPT
• m-a-p/CodeFeedback-Filtered-Instruction
• m-a-p/Code-Feedback
• microsoft/orca-math-word-problems-200k
  语言：
• 英语
  标签：
• 代码
• Python
• Cpp
• PHP
• JS
• Java
• Rust
• Ruby
• SQL
• MySql
• R
• Julia

Code-Llama-3-8B

本模型基于我精炼的数据集Code-290k-ShareGPT训练而成。

此外，还使用了以下数据集进行训练：
Code-Feedback
orca-math-word-problems-200k
CodeFeedback-Filtered-Instruction

训练目的是验证该模型在代码与数学数据集上的表现。模型在代码生成方面表现优异，数学问题解答同样出色。欢迎测试体验。

该模型在Python、Java、JavaScript、GO、C++、Rust、Ruby、SQL、MySql、R、Julia、Haskell等多种语言的代码生成上表现极为出色，并能详细解释代码背后的逻辑。

由于基于海量数据集训练，模型效果显著。下方提供示例参考。

模型采用ChatML提示格式，为全微调版本。

GGUF与Exllama
GGUF量化版：链接
Exllama v2量化版：链接
特别感谢Bartowski的量化工作。

训练细节
使用4块A100 80GB显卡，2个epoch训练耗时超160小时。基于Axolotl和Deepspeed代码库，在Meta的Llama-3-8B模型上完成全数据训练。

示例提示
采用ChatML格式：

<|im_start|>system  
你是专业的编程助手。<|im_end|>  
<|im_start|>user  
{用户输入}<|im_end|>  
<|im_start|>assistant  

可自定义提示前缀，例如：

这是与专业编程助手的对话。助手能生成多种编程语言的代码并提供必要解释。  

特别感谢开源社区的指导与帮助，让我更深入理解AI/模型开发。

感谢大家的喜爱与支持。

示例输出
（此处保留原始图片链接，内容为代码生成示例）

示例1

示例2

示例3

示例4

示例5