许可协议：Apache-2.0
数据集：

• mlabonne/Evol-Instruct-Python-1k
  任务标签：文本生成

🦙💻 进化代码羊驼-7b

📝 相关文章

本模型是基于codellama/CodeLlama-7b-hf，采用QLoRA（4比特精度）在mlabonne/Evol-Instruct-Python-1k数据集上微调而成。

🔧 训练过程

使用RTX 3090显卡耗时1小时11分44秒完成训练，配置文件如下：

基础模型：codellama/CodeLlama-7b-hf  
模型配置：codellama/CodeLlama-7b-hf  
模型类型：LlamaForCausalLM  
分词器类型：LlamaTokenizer  
是否基于Llama衍生模型：是  
中心模型ID：EvolCodeLlama-7b  

8比特加载：关闭  
4比特加载：开启  
严格模式：关闭  

数据集：  
  - 路径：mlabonne/Evol-Instruct-Python-1k  
    类型：alpaca  
预处理数据集路径：last_run_prepared  
验证集比例：0.02  
输出目录：./qlora-out  

适配器：qlora  
LoRA模型目录：  

序列长度：2048  
样本打包：开启  

LoRA参数：  
秩：32  
α值：16  
丢弃率：0.05  
目标模块：  
线性层目标：开启  
风扇进出设置：  

实验监控：  
Wandb项目：axolotl  
实体名称：  
监控设置：  
运行ID：  
模型日志：  

训练参数：  
梯度累积步数：1  
微批次大小：10  
训练轮次：3  
优化器：分页AdamW-32bit  
学习率调度器：余弦退火  
初始学习率：0.0002  

输入训练：关闭  
按长度分组：关闭  
精度设置：  
bfloat16：开启  
float16：关闭  
tf32：关闭  

梯度检查点：开启  
早停耐心值：  
从检查点恢复：  
本地排名：  
日志间隔：1步  
注意力机制：  
xformers：未设置  
闪光注意力：开启  

预热步数：100  
评估间隔：0.01  
保存策略：按周期  
保存步长：  
调试模式：  
DeepSpeed配置：  
权重衰减：0.0  
FSDP设置：  
FSDP配置：  

特殊标记：  
起始符："<s>"  
结束符："</s>"  
未知符："<unk>"  

训练损失曲线如下图所示：

本模型主要用于教学演示，不推荐用于实际推理任务。

💻 使用示例

# 安装依赖：pip install transformers accelerate  

from transformers import AutoTokenizer  
import transformers  
import torch  

model = "mlabonne/EvolCodeLlama-7b"  
prompt = "输入您的提示词"  

tokenizer = AutoTokenizer.from_pretrained(model)  
pipeline = transformers.pipeline(  
    "文本生成",  
    model=model,  
    torch_dtype=torch.float16,  
    device_map="自动分配",  
)  

生成结果 = pipeline(  
    f'{prompt}',  
    随机采样=True,  
    候选数=10,  
    返回序列数=1,  
    结束符=tokenizer.eos_token_id,  
    最大长度=200,  
)  
for 结果 in 生成结果:  
    print(f"生成文本：{结果['generated_text']}")