EVA Qwen2.5 14B V0.2

由 EVA-UNIT-01 开发

一款专注于角色扮演/故事写作的专家模型，基于Qwen2.5-14B进行全参数微调，融合了合成与自然数据。

大型语言模型

Transformers

开源协议:Apache-2.0 #角色扮演专家 #长文本故事生成 #创意写作增强

下载量 287

发布时间 : 11/6/2024

模型介绍

内容详情

替代品

模型简介

该模型专注于角色扮演和故事写作任务，通过全参数微调优化了连贯性、指令遵循和长上下文理解能力。采用ChatML提示格式，适用于创意写作和交互式角色扮演场景。

模型特点

优化的角色扮演能力

专门针对角色扮演场景进行微调，能生成符合角色设定的连贯对话

长上下文理解

支持10240 tokens的长上下文窗口，适合复杂故事线发展

创意写作增强

融合多种写作数据集，提升故事创作的多样性和创造力

优化的指令遵循

相比v0.1版本显著提升了指令理解和执行能力

模型能力

角色扮演对话生成

故事创作

创意写作

长文本生成

指令跟随

使用案例

创意写作

小说创作

生成连贯的故事情节和角色对话

可产生具有一致角色性格和故事发展的长文本

剧本写作

根据提示生成剧本片段

能保持场景和角色的一致性

交互式娱乐

角色扮演游戏

作为游戏NPC提供动态对话

能根据角色设定生成符合性格的回应

虚拟角色聊天

与用户进行角色扮演对话

保持角色一致性并发展故事情节

库名称: transformers
许可证: apache-2.0
基础模型: Qwen/Qwen2.5-14B
数据集:

anthracite-org/kalo-opus-instruct-22k-no-refusal
Nopm/Opus_WritingStruct
Gryphe/Sonnet3.5-SlimOrcaDedupCleaned
Gryphe/Sonnet3.5-Charcard-Roleplay
Gryphe/ChatGPT-4o-Writing-Prompts
Epiculous/Synthstruct-Gens-v1.1-Filtered-n-Cleaned
Epiculous/SynthRP-Gens-v1.1-Filtered-n-Cleaned
nothingiisreal/Reddit-Dirty-And-WritingPrompts
allura-org/Celeste-1.x-data-mixture
cognitivecomputations/dolphin-2.9.3
标签:
训练生成
模型索引:
名称: EVA-Qwen2.5-14B-SFFT-v0.2
结果: []

EVA Qwen2.5-14B v0.2

一款专注于角色扮演/故事写作的专家模型，基于Qwen2.5-14B进行全参数微调，融合了合成与自然数据。
采用Celeste 70B 0.1数据混合方案，大幅扩展以提升模型的多功能性、创造力和"风味"。

0.2版本说明: 现采用32B 0.2版本的优化数据集。相比14B v0.1，在连贯性、指令遵循和长上下文理解方面有显著提升。

提示格式为ChatML。

训练数据:

Celeste 70B 0.1数据混合(去除Opus Instruct子集)。详情参见该模型卡片。
Kalomaze的Opus_Instruct_25k数据集，已过滤拒绝响应。
Gryphe的ChatGPT-4o-WritingPrompts子集(1k条)
Gryphe的Sonnet3.5-Charcards-Roleplay子集(2k条)
Epiculous的Synthstruct和SynthRP数据集
Dolphin-2.9.3子集，包括过滤后的not_samantha和小部分systemchat。

训练时间与硬件:

在8xH100 SXM上训练3小时，由FeatherlessAI提供

模型由Kearm、Auri和Cahvay创建。

特别鸣谢:

Cahvay对损坏数据集的调查与重处理工作，消除了最大的数据污染源。
FeatherlessAI慷慨提供8xH100 SXM节点用于模型训练
Gryphe、Lemmy、Kalomaze、Nopm、Epiculous和CognitiveComputations提供数据
Allura-org对EVA模型的支持、反馈、测试与质量控制。

查看axolotl配置

axolotl版本: 0.4.1

基础模型: Qwen/Qwen2.5-14B  

加载8位: false  
加载4位: false  
严格模式: false  

插件:  
  - axolotl.integrations.liger.LigerPlugin  
liger_rope: true  
liger_rms_norm: true  
liger_swiglu: true  
liger_fused_linear_cross_entropy: true  

数据集:  
  - 路径: datasets/Celeste_Filtered_utf8fix.jsonl  
    类型: sharegpt  
  - 路径: datasets/deduped_not_samantha_norefusals.jsonl  
    类型: sharegpt  
  - 路径: datasets/deduped_SynthRP-Gens_processed_ShareGPT_converted_cleaned.jsonl  
    类型: sharegpt  
  - 路径: datasets/deduped_Synthstruct-Gens_processed_sharegpt_converted_cleaned.jsonl  
    类型: sharegpt  
  - 路径: datasets/Gryphe-4o-WP-filtered-sharegpt_utf8fix.jsonl  
    类型: sharegpt  
  - 路径: datasets/opus-instruct-22k-no_refusals-filtered_utf8fix.jsonl  
    类型: sharegpt  
  - 路径: datasets/Sonnet3-5-charcard-names-filtered-sharegpt_utf8fix.jsonl  
    类型: sharegpt  
  - 路径: datasets/SystemChat_subset_filtered_sharegpt_utf8fix.jsonl  
    类型: sharegpt  

聊天模板: chatml  
打乱合并数据集: true  
验证集比例: 0.005  
输出目录: ./EVA-Qwen2.5-14B-SFFT-v0.2  

序列长度: 10240  
样本打包: true  
评估样本打包: false  
填充至序列长度: true  

解冻参数:  
- ^lm_head.weight$  
- ^model.embed_tokens.weight$  
# 此处省略大量层参数配置...  

wandb项目: EVA-Qwen2.5-14B-SFFT-v0.2  

梯度累积步数: 8  
微批次大小: 2  
训练轮数: 3  
优化器: paged_ademamix_8bit  
学习率调度器: cosine  
学习率: 0.00005  
最大梯度范数: 3  

训练输入: false  
按长度分组: false  
bf16: auto  
fp16:  
tf32: false  

梯度检查点: "unsloth"  
预热步数: 20  
每轮评估次数: 4  
每轮保存次数: 4  
保存安全张量: true  
深度速度配置: deepspeed_configs/zero3_bf16.json  
权重衰减: 0.1