The Skullery 呈现 L3-Aethora-15B。

创建者： Steelskull

数据集： Aether-Lite-V1.2

训练： 使用 RsLora 和 DORA 在 4 块 A100 上训练 15 小时

关于 L3-Aethora-15B：

 L3 = Llama3 

L3-Aethora-15B 是通过使用 abilteration 方法调整模型响应而制作的。该模型的拒绝能力被抑制，专注于产生更顺从和促进的对话交互。然后，它通过使用 passthrough merge 进行修改后的 DUS（深度升级）合并（最初由 @Elinas 使用），创建了一个 15b 模型，并对 'o_proj' 和 'down_proj' 进行了特定调整（归零），提高了其效率并降低了困惑度。这创建了 AbL3In-15b。

AbL3In-15b 随后在 Aether-Lite-V1.2 数据集上使用 Rslora 和 DORA 训练方法进行了 4 个周期的训练，该数据集包含约 82000 个高质量样本，旨在在创造力、随意性和智能之间达到约 60/40 的精细平衡。

该模型基于 L3 提示格式进行训练。

量化版本：

Mradermacher/L3-Aethora-15B-GGUF

Mradermacher/L3-Aethora-15B-i1-GGUF

NikolayKozloff/L3-Aethora-15B-GGUF

数据集摘要：（已过滤）

过滤短语：GPTslop, Claudism's

• mrfakename/Pure-Dove-ShareGPT： 处理 3707，移除 150
• mrfakename/Capybara-ShareGPT： 处理 13412，移除 2594
• jondurbin/airoboros-3.2： 处理 54517，移除 4192
• PJMixers/grimulkan_theory-of-mind-ShareGPT： 处理 533，移除 6
• grimulkan/PIPPA-augmented-dedup： 处理 869，移除 46
• grimulkan/LimaRP-augmented： 处理 790，移除 14
• PJMixers/grimulkan_physical-reasoning-ShareGPT： 处理 895，移除 4
• MinervaAI/Aesir-Preview： 处理 994，移除 6
• Doctor-Shotgun/no-robots-sharegpt： 处理 9911，移除 89

去重统计：

起始行数：85628，最终行数：81960，移除行数：3668

有人询问捐款事宜，这里提供一个链接：