库名称: transformers
许可证: apache-2.0
基础模型: PocketDoc/Dans-SakuraKaze-V1.0.0-12b
标签:

• axolotl
• generated_from_trainer
  数据集:
• PJMixers-Dev/allura-org_gryphe-sonnet-3.5-charcards-names-added-qwq-all-aphrodite-Shuffled
• PJMixers-Dev/anthracite-org_c2_logs_32k_llama3_qwen2_v1.3-qwq-all-aphrodite-Shuffled
• PJMixers-Dev/grimulkan_aicg-logs-augmented-system-qwq-all-aphrodite-Shuffled
• PJMixers-Dev/grimulkan_jannie-log-augmented-system-qwq-all-aphrodite-Shuffled
• PJMixers-Dev/grimulkan_PIPPA-augmented-dedup-system-qwq-all-aphrodite-Shuffled
• PJMixers-Dev/lemonilia_LimaRP-Only-NonSus-Simple-CustomShareGPT-qwq-all-aphrodite-Shuffled
• PJMixers-Dev/MinervaAI_Aesir-Preview-Anon-qwq-all-aphrodite-Shuffled
• PJMixers-Dev/NyxKrage_chub-logs-sharegpt-longest-CustomShareGPT-qwq-all-aphrodite-Shuffled
• PJMixers-Dev/PocketDoc_Dans-Prosemaxx-Cowriter-XL-8192-shrunk-l3-qwq-all-aphrodite-Shuffled
• PJMixers-Dev/PocketDoc_Dans-Personamaxx-Rainy-qwq-all-aphrodite-Shuffled
  模型索引:
• 名称: MN-2407-DSK-QwQify-v0.1-12B-LoRA-WS
  结果: []

BeaverAI/MN-2407-DSK-QwQify-v0.1-12B

GGUF格式下载

这是一个测试模型，旨在为现有模型赋予QwQ的思维模式。当前版本基于PocketDoc/Dans-SakuraKaze-V1.0.0-12b（一个角色扮演/冒险/协作写作模型），该模型又基于PocketDoc/Dans-PersonalityEngine-V1.1.0-12b（多功能指令模型），后者则基于mistralai/Mistral-Nemo-Base-2407。

提示格式和使用方式与QwQ相同：使用ChatML格式，并删除之前回合的思考内容。如果思考内容未自动生成，可在助手回合开头添加<think>\n。

模型会遵循之前的响应格式。在对话初始阶段，可能需要多次重新生成，并可能需要手动编辑前几轮响应以获得理想效果。

建议禁用{{char}}:角色前缀，改为在系统提示末尾添加类似内容：对话中仅以"{{char}}"身份与"{{user}}"交流。最终响应需添加"{{char}}:"前缀。

MN-2407-DSK-QwQify-v0.1-12B-LoRA-WS

本模型是基于PocketDoc/Dans-SakuraKaze-V1.0.0-12b微调的版本，训练数据来自多个PJMixers-Dev数据集。评估集上的损失值为1.2770。

训练超参数

• 学习率: 2e-05
• 训练批次大小: 16
• 评估批次大小: 16
• 训练周期: 2
• 优化器: AdamW

框架版本

• PEFT 0.14.0
• Transformers 4.49.0
• PyTorch 2.6.0+cu124
• Datasets 3.2.0
• Tokenizers 0.21.1