Magnum V4 27b Gguf

由 anthracite-org 开发

基于Gemma 27b微调的对话模型，旨在复现Claude 3的文本质量，支持ChatML格式的对话交互。

大型语言模型

英语

#Claude3复现 #长文本生成 #角色扮演优化

下载量 1,220

发布时间 : 4/25/2025

模型介绍

内容详情

替代品

模型简介

该模型是基于Gemma 27b（chatML化版本）进行微调的对话模型，主要用于生成高质量的文本响应，特别设计用于复现Claude 3模型（特别是Sonnet和Opus）的文本质量。

模型特点

ChatML格式支持

支持ChatML格式的对话交互，便于在聊天应用中使用。

高质量文本生成

旨在复现Claude 3模型的文本质量，生成自然流畅的响应。

多数据集微调

基于多个高质量数据集进行微调，提升模型的多样性和适应性。

模型能力

文本生成

对话交互

角色扮演

使用案例

聊天应用

智能聊天助手

用于构建智能聊天助手，提供自然流畅的对话体验。

生成高质量的文本响应，接近Claude 3的文本质量。

角色扮演

虚拟角色互动

用于虚拟角色互动，生成包含对话、动作和内心活动的响应。

提供丰富的角色扮演体验，支持多轮对话。

许可证：gemma
语言：

英语

标签：

聊天

管道标签：文本生成
库名称：transformers

数据集：

anthracite-org/c2_logs_16k_llama_v1.1
NewEden/Claude-Instruct-5K
anthracite-org/kalo-opus-instruct-22k-no-refusal
Epiculous/SynthRP-Gens-v1.1-Filtered-n-Cleaned
lodrick-the-lafted/kalo-opus-instruct-3k-filtered
anthracite-org/nopm_claude_writing_fixed
Epiculous/Synthstruct-Gens-v1.1-Filtered-n-Cleaned
anthracite-org/kalo_opus_misc_240827
anthracite-org/kalo_misc_part2

image/png

本仓库包含模型的GGUF量化版本。如需原始权重，请访问此处。

该系列模型旨在复现Claude 3模型（特别是Sonnet和Opus）的文本质量。

本模型基于Gemma 27b（chatML化版本）进行微调。

提示格式

典型输入如下：

<|im_start|>system  
系统提示<|im_end|>  
<|im_start|>user  
你好！<|im_end|>  
<|im_start|>assistant  
很高兴见到你！<|im_end|>  
<|im_start|>user  
能问个问题吗？<|im_end|>  
<|im_start|>assistant

SillyTavern模板

以下是用于SillyTavern的指令和上下文模板。

上下文模板

{  
  "story_string": "<|im_start|>system\n{{#if system}}{{system}}\n{{/if}}{{#if wiBefore}}{{wiBefore}}\n{{/if}}{{#if description}}{{description}}\n{{/if}}{{#if personality}}{{char}}的性格：{{personality}}\n{{/if}}{{#if scenario}}场景：{{scenario}}\n{{/if}}{{#if wiAfter}}{{wiAfter}}\n{{/if}}{{#if persona}}{{persona}}\n{{/if}}{{trim}}<|im_end|>\n",  
  "example_separator": "",  
  "chat_start": "",  
  "use_stop_strings": false,  
  "allow_jailbreak": false,  
  "always_force_name2": true,  
  "trim_sentences": false,  
  "include_newline": false,  
  "single_line": false,  
  "name": "Magnum ChatML"  
}

指令模板

{  
  "system_prompt": "当前你扮演的角色是{{char}}，具体描述如下。作为{{char}}，请继续与{{user}}的叙事互动。\n\n<指南>\n• 保持角色人设，但允许其随故事发展演变\n• 发挥创意和主动性，适时推动剧情发展\n• 鼓励各类输出形式，根据叙事需要灵活响应\n• 每轮回应需包含对话、动作和内心活动\n• 在{{char}}的对话中运用五感描述场景\n• 在适当语境使用情感符号（如\"!\"和\"~\"）\n• 适时使用拟声词\n• 预留时间让{{user}}自主回应\n• 按需扮演次要角色和NPC，并在适当时移除\n• 当提示[OOC:]回复时，以中立纯文本响应而非角色身份\n</指南>\n\n<禁忌>\n• 除非角色设定需要，避免过度文学修饰\n• 不得代{{user}}进行任何形式的表达\n• 避免重复单调的输出\n• 防止回复中的过度乐观倾向\n• 叙事语境不适时避免极端或NSFW内容\n</禁忌>",  
  "input_sequence": "<|im_start|>user\n",  
  "output_sequence": "<|im_start|>assistant\n",  
  "last_output_sequence": "",  
  "system_sequence": "<|im_start|>system\n",  
  "stop_sequence": "<|im_end|>",  
  "wrap": false,  
  "macro": true,  
  "names": true,  
  "names_force_groups": true,  
  "activation_regex": "",  
  "system_sequence_prefix": "",  
  "system_sequence_suffix": "",  
  "first_output_sequence": "",  
  "skip_examples": false,  
  "output_suffix": "<|im_end|>\n",  
  "input_suffix": "<|im_end|>\n",  
  "system_suffix": "<|im_end|>\n",  
  "user_alignment_message": "",  
  "system_same_as_user": false,  
  "last_system_sequence": "",  
  "name": "Magnum ChatML"  
}

Axolotl配置

查看axolotl配置

基础模型: IntervitensInc/gemma-2-27b-chatml  
模型类型: AutoModelForCausalLM  
分词器类型: AutoTokenizer  

Hub模型ID: anthracite-org/magnum-v4-27b-r1  
Hub策略: "all_checkpoints"  
推送数据集到Hub:  
hf_use_auth_token: true  

插件:                                                                                                                                                            
  - axolotl.integrations.liger.LigerPlugin  
liger_cross_entropy: true  

加载8位: false  
加载4位: false  
严格模式: false  

数据集:  
  - 路径: anthracite-org/c2_logs_16k_llama_v1.1  
    类型: sharegpt  
    对话格式: chatml  
  （其余数据集配置略...）  

聊天模板: chatml  
合并数据集随机打乱: true  
默认系统消息: "你是回应用户的助手。"  
数据集准备路径: /workspace/data/27-fft-data  
验证集比例: 0.0  
输出目录: /workspace/data/27b-fft-out  

序列长度: 8192  
样本打包: true  
评估样本打包: false  
填充至序列长度: true  

（其余训练参数配置略...）