库名称：transformers
许可证：apache-2.0
数据集：
- anthracite-org/kalo-opus-instruct-22k-no-refusal
- Nopm/Opus_WritingStruct
- Gryphe/Sonnet3.5-SlimOrcaDedupCleaned
- Gryphe/Sonnet3.5-Charcard-Roleplay
- Gryphe/ChatGPT-4o-Writing-Prompts
- Epiculous/Synthstruct-Gens-v1.1-Filtered-n-Cleaned
- Epiculous/SynthRP-Gens-v1.1-Filtered-n-Cleaned
- nothingiisreal/Reddit-Dirty-And-WritingPrompts
- allura-org/Celeste-1.x-data-mixture
- cognitivecomputations/dolphin-2.9.3
基础模型：Qwen/Qwen2.5-32B
标签：
- generated_from_trainer
模型索引：
- 名称：EVA-Qwen2.5-32B-SFFT-v0.1
结果：[]
EVA Qwen2.5-32B v0.2
一款专注于角色扮演/故事写作的专家模型，基于Qwen2.5-32B进行全参数微调，融合了合成与自然数据。
采用Celeste 70B 0.1数据混合方案，大幅扩展数据集以提升模型的多功能性、创造力和"风味"。
献给Nev。
版本0.2说明：由于先前数据处理流程存在严重错误，导致数据污染了大量非Unicode字符，现已全面重新处理。修复后不再出现异常生成痕迹，稳定性显著提升。特别感谢Cahvay对此关键问题的修复工作。
提示格式为ChatML。
推荐采样参数：
- 温度：1
- 最小概率：0.05
- Top-A：0.2
- 重复惩罚：1.03
SillyTavern推荐预设（由CalamitousFelicitousness提供）：
训练数据：
- Celeste 70B 0.1数据混合（移除Opus Instruct子集），详情参见该模型说明页
- Kalomaze的Opus_Instruct_25k数据集（经拒绝响应过滤）
- Gryphe的ChatGPT-4o-WritingPrompts子集（1k条）
- Gryphe的Sonnet3.5-Charcards-Roleplay子集（2k条）
- Epiculous的Synthstruct与SynthRP数据集
- Dolphin-2.9.3子集，包含过滤版not_samantha及少量systemchat数据
训练时长与硬件：
模型由Kearm、Auri和Cahvay共同开发。
特别鸣谢：
- Cahvay对污染数据集的调查与重处理工作，消除了最主要的数据污染源
- FeatherlessAI慷慨提供8xH100 SXM节点用于模型训练
- Gryphe、Lemmy、Kalomaze、Nopm、Epiculous及CognitiveComputations提供数据支持
- Allura-org对EVA模型的支持、反馈、测试及质量把控
查看axolotl配置
axolotl版本：0.4.1
基础模型：Qwen/Qwen2.5-32B
8bit加载：否
4bit加载：否
严格模式：否
插件：
- axolotl.integrations.liger.LigerPlugin
liger_rope：是
liger_rms_norm：是
liger_swiglu：是
liger_fused_linear_cross_entropy：是
数据集：
- 路径：datasets/Celeste_Filtered_utf8fix.jsonl
类型：sharegpt
- 路径：datasets/deduped_not_samantha_norefusals.jsonl
类型：sharegpt
- 路径：datasets/deduped_SynthRP-Gens_processed_ShareGPT_converted_cleaned.jsonl
类型：sharegpt
- 路径：datasets/deduped_Synthstruct-Gens_processed_sharegpt_converted_cleaned.jsonl
类型：sharegpt
- 路径：datasets/Gryphe-4o-WP-filtered-sharegpt_utf8fix.jsonl
类型：sharegpt
- 路径：datasets/opus-instruct-22k-no_refusals-filtered_utf8fix.jsonl
类型：sharegpt
- 路径：datasets/Sonnet3-5-charcard-names-filtered-sharegpt_utf8fix.jsonl
类型：sharegpt
- 路径：datasets/SystemChat_subset_filtered_sharegpt_utf8fix.jsonl
类型：sharegpt
对话模板：chatml
合并数据集洗牌：是
验证集比例：0.001
输出目录：./EVA-Qwen2.5-32B-SFFT-v0.1
序列长度：10240
样本打包：是
评估样本打包：否
填充至序列长度：是
解冻参数：（此处省略具体层级结构）
wandb项目：EVA-Qwen2.5-32B-SFFT-v0.2
梯度累积步数：8
微批次大小：1
训练轮次：3
优化器：paged_adamw_8bit
学习率调度器：cosine
学习率：0.00005
最大梯度范数：3
输入训练：否
按长度分组：否
bf16：自动
fp16：
tf32：否
梯度检查点："unsloth"
早停耐心值：
从检查点恢复：
本地排名：
日志步长：1
xformers注意力：
闪存注意力：是
预热步数：20
每轮评估次数：4
每轮保存次数：4
保存安全张量：是
Hub模型ID：
Hub策略：
调试：
深度速度：deepspeed_configs/zero3_bf16.json
权重衰减：0.1
Transformers%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)