Magnum V4 12b Gguf

由 anthracite-org 开发

Magnum-v4-12b是基于Mistral-Nemo-Instruct-2407微调的大语言模型，旨在复现Claude 3模型的文本生成质量。

大型语言模型

Transformers

英语

开源协议:Apache-2.0 #Claude3风格复现 #32k长文本生成 #多指令微调

下载量 902

发布时间 : 10/9/2024

模型介绍

内容详情

替代品

模型简介

该模型专注于高质量的文本生成任务，特别优化了对话生成能力，支持长上下文处理（32k tokens）。

模型特点

长上下文支持

支持长达32k tokens的上下文处理能力

Claude 3风格生成

专门优化以复现Claude 3(Sonnet和Opus)的文本生成质量

多数据集微调

使用6个高质量数据集进行微调，涵盖多种文本生成场景

模型能力

对话生成

长文本生成

指令跟随

使用案例

对话系统

智能聊天助手

可用于构建高质量的对话机器人

生成类似Claude 3风格的对话响应

内容创作

长文写作

支持长篇幅的内容创作

生成连贯的长篇文本

许可证：apache-2.0
语言：

英语

标签：

聊天

流水线标签：文本生成
库名称：transformers

数据集：

anthracite-org/c2_logs_32k_llama3_qwen2_v1.2_no_system
anthracite-org/kalo-opus-instruct-22k-no-refusal-no-system
anthracite-org/kalo-opus-instruct-3k-filtered-no-system
anthracite-org/nopm_claude_writing_fixed
anthracite-org/kalo_opus_misc_240827_no_system
anthracite-org/kalo_misc_part2_no_system

image/png

本仓库包含模型的GGUF量化版本。如需原始权重，请访问此处。

该系列模型旨在复现Claude 3模型（特别是Sonnet和Opus）的文本生成质量。

本模型基于mistralai/Mistral-Nemo-Instruct-2407进行微调。

提示格式

典型输入格式如下：

<s>[INST] 系统消息  
用户消息[/INST] 助手消息</s>[INST] 用户消息[/INST]

SillyTavern模板

以下是用于SillyTavern的指令模板和上下文模板。

上下文模板

默认SillyTavern模板即可适用

指令模板

默认SillyTavern模板即可适用

Axolotl配置

查看axolotl配置

基础模型: mistralai/Mistral-Nemo-Instruct-2407  
模型类型: AutoModelForCausalLM  
分词器类型: AutoTokenizer  

中心模型ID: anthracite-org/magnum-v4-12b-r2  
中心策略: "all_checkpoints"  
推送数据集至中心:  
使用认证令牌: true  

插件:  
  - axolotl.integrations.liger.LigerPlugin  
liger_rope: true  
liger_rms_norm: true  
liger_swiglu: true  
liger_fused_linear_cross_entropy: true  

8位加载: false  
4位加载: false  
严格模式: false  

数据集:  
  - 路径: anthracite-org/c2_logs_32k_llama3_qwen2_v1.2_no_system  
    类型: custommistralv3tekken  
  - 路径: anthracite-org/kalo-opus-instruct-22k-no-refusal-no-system  
    类型: custommistralv3tekken  
  - 路径: anthracite-org/kalo-opus-instruct-3k-filtered-no-system  
    类型: custommistralv3tekken  
  - 路径: anthracite-org/nopm_claude_writing_fixed  
    类型: custommistralv3tekken  
  - 路径: anthracite-org/kalo_opus_misc_240827_no_system  
    类型: custommistralv3tekken  
  - 路径: anthracite-org/kalo_misc_part2_no_system  
    类型: custommistralv3tekken  

合并数据集随机打乱: true  
数据集准备路径: /workspace/data/magnum-12b-data  
验证集比例: 0.0  
输出目录: /workspace/data/12b-fft-out  

序列长度: 32768  
样本打包: true  
填充至序列长度: true  

适配器:  
LoRA模型目录:  
LoRA秩:  
LoRA_alpha:  
LoRA丢弃率:  
LoRA目标线性层:  
LoRA扇入扇出:  

WandB项目: 12b-magnum-fft  
WandB实体:  
WandB监控:  
WandB名称: v4-r2-attempt-01  
WandB记录模型:  

梯度累积步数: 2  
微批次大小: 1  
训练轮数: 2  
优化器: adamw_bnb_8bit  
学习率调度器: cosine  
学习率: 0.00001  

训练输入: false  
按长度分组: false  
bf16: auto  
fp16:  
tf32: false  

梯度检查点: true  
早停耐心:  
从检查点恢复:  
本地排名:  
日志步长: 1  
xformers注意力:  
闪光注意力: true  

预热步数: 40  
每轮评估次数:  
评估表大小:  
评估最大新标记数:  
每轮保存次数: 2  
调试:  
深度速度: deepspeed_configs/zero2.json  
权重衰减: 0.1  
fsdp:  
fsdp配置:  
特殊标记:  
  填充标记: <pad>