Archaeo 32B KTO

由 Delta-Vector 开发

基于Archaeo-32B进行强化学习训练的融合模型，专为角色扮演与创意写作优化

大型语言模型

Transformers

其他

#角色扮演优化 #创意写作增强 #KTO强化学习

下载量 25

发布时间 : 5/3/2025

模型介绍

内容详情

替代品

模型简介

采用Hamanasu-Magnum与Kunou融合方案，使用KTO算法进行强化学习微调的大语言模型，特别适合角色扮演对话和创意写作场景

模型特点

角色扮演优化

专门针对角色扮演场景进行强化学习训练，能生成更符合角色设定的对话

创意写作增强

在创意写作任务上表现优异，能生成富有想象力的文本内容

KTO强化学习

采用Kahneman-Tversky优化算法进行微调，提升模型输出质量

长上下文支持

支持8192token的上下文长度，适合长篇创作

模型能力

角色扮演对话

创意写作

故事生成

指令跟随

长文本生成

使用案例

娱乐

互动式角色扮演

与用户进行沉浸式角色扮演对话

生成符合角色设定的自然对话

故事创作辅助

帮助作家生成创意内容或续写故事

产生富有创意的故事情节和角色发展

教育

创意写作教学

作为写作教学辅助工具，提供创意启发

帮助学生克服写作障碍，激发创意

标签:

角色扮演
创意写作
模型融合
融合工具包
KTO算法
强化学习
微调数据集:
Delta-Vector/Tauri-IFeval-Dans-Tulu-KTO
Delta-Vector/Tauri-Opus-Accepted-GPT-Rejected-Opus-Writing-Prompts
Delta-Vector/Tauri-KTO-Instruct-Mix
Delta-Vector/Tauri-Purpura-Arkhaios-CC-KTO 基础模型:
Delta-Vector/Archaeo-32B 任务标签: 文本生成库名称: transformers

                        __~a~_
                        ~~;  ~_
          _                ~  ~_                _
         '_\;__._._._._._._]   ~_._._._._._.__;/_`
         '(/'/'/'/'|'|'|'| (    )|'|'|'|'\'\'\'\)'
         (/ / / /, | | | |(/    \) | | | ,\ \ \ \)
        (/ / / / / | | | ~(/    \) ~ | | \ \ \ \ \)
       (/ / / / /  ~ ~ ~   (/  \)    ~ ~  \ \ \ \ \)
      (/ / / / ~          / (||)|          ~ \ \ \ \)
      ~ / / ~            M  /||\M             ~ \ \ ~
       ~ ~                  /||\                 ~ ~
                           //||\\
                           //||\\
                           //||\\
                           '/||\'        "始祖鸟"

在Ko-Fi上支持我：https://ko-fi.com/deltavector

专为角色扮演与创意写作打造的系列融合模型，本模型是在Archaeo基础上进行强化学习训练的成果。采用Hamanasu-Magnum与Kunou融合方案，使用8台H200显卡通过Axolotl框架训练。

ChatML格式

"""<|im_start|>system
系统提示<|im_end|>
<|im_start|>user
你好！<|im_end|>
<|im_start|>assistant
很高兴见到你！<|im_end|>
<|im_start|>user
可以请教个问题吗？<|im_end|>
<|im_start|>assistant
"""

Axolotl配置

基础模型: ./model

插件:

axolotl.integrations.liger.LigerPlugin
axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin liger_rope: true liger_rms_norm: true liger_layer_norm: true liger_glu_activation: true liger_fused_linear_cross_entropy: true cut_cross_entropy: false

8位加载: false 4位加载: false 严格模式: false

强化学习: kto kto负面样本权重: 1.0

数据集:

路径: Delta-Vector/Tauri-Opus-Accepted-GPT-Rejected-Opus-Writing-Prompts 拆分: train 类型: chatml.argilla
路径: Delta-Vector/Tauri-IFeval-Dans-Tulu-KTO 拆分: train 类型: chatml.argilla
路径: Delta-Vector/Tauri-KTO-Instruct-Mix 拆分: train 类型: chatml.argilla
路径: Delta-Vector/Tauri-Purpura-Arkhaios-CC-KTO 拆分: train 类型: chatml.argilla 数据集准备路径: last_run_prepared 验证集比例: 0.0 输出目录: ./archaeo-kto-v2 保留未使用列: false

#@lora_mlp_kernel: true #lora_qkv_kernel: true #lora_o_kernel: true

适配器: lora lora模型目录:

序列长度: 8192 填充至序列长度: false

lora_r: 64 lora_alpha: 32 lora_dropout: 0.0 lora_target_linear: true lora_fan_in_fan_out: lora目标模块: