🚀 Violet_Twilight-v0.2

Violet_Twilight-v0.2 是 Azure_Dusk-v0.2 和 Crimson_Dawn-v0.2 的 SLERP 合并模型，可用于文本生成任务。它支持多种量化版本，在多个评估数据集上有相应表现。

✨ 主要特性

• 多语言支持：支持英语、法语、德语、西班牙语、意大利语、葡萄牙语、俄语、中文和日语。
• 多数据集训练：基于多个数据集进行训练，包括 Epiculous/SynthRP-Gens-v1.1-Filtered-n-Cleaned、anthracite-org/stheno-filtered-v1.1 等。
• 文本生成能力：适用于文本生成任务。
• 多种量化版本：提供完整版本、exl2 和 gguf 量化版本。

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

基础用法

v0.2 模型基于 ChatML 进行训练，提示结构如下：

<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant

高级用法

文档未提供高级用法示例，暂不展示。

上下文和指令

v0.2 模型基于 ChatML 进行训练，请使用该上下文和指令模板。

当前顶级采样器设置

• Smooth Creativity：感谢 Juelsman 的研究！
• Variant Chimera：感谢 Numbra！
• Spicy_Temp
• Violet_Twilight-Nitral-Special

🔧 技术细节

合并配置

以下配置用于合并 Azure Dusk 和 Crimson Dawn：

slices:
  - sources:
      - model: Epiculous/Azure_Dusk-v0.2
        layer_range: [0, 40]
      - model: Epiculous/Crimson_Dawn-V0.2
        layer_range: [0, 40]
merge_method: slerp
base_model: Epiculous/Azure_Dusk-v0.2
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5 # fallback for rest of tensors
dtype: bfloat16

📚 详细文档

评估结果

Open LLM Leaderboard 评估结果 详细结果可查看 此处

📄 许可证

本项目采用 Apache-2.0 许可证。

📋 模型信息