Magnum V4 123b Gguf

由 anthracite-org 开发

基于Mistral-Large-Instruct微调的123B参数模型，旨在复现Claude 3的文本生成质量

大型语言模型

英语

开源协议:其他 #Claude3风格复现 #长文本生成 #指令微调

下载量 380

发布时间 : 10/19/2024

模型介绍

内容详情

替代品

模型简介

该模型专注于高质量文本生成，特别优化了对话和指令跟随能力，适用于聊天和写作辅助场景

模型特点

Claude 3风格生成

专门微调以复现Claude 3(Sonnet/Opus)的文本生成风格和质量

长上下文支持

支持长达16384 tokens的上下文窗口，适合处理长文档和复杂对话

多数据集融合训练

使用6个高质量数据集进行训练，覆盖多种文本生成场景

模型能力

对话生成

指令跟随

创意写作

长文本生成

使用案例

聊天应用

智能对话助手

用于构建类Claude风格的聊天机器人

生成自然流畅、符合上下文的对话回复

内容创作

写作辅助

帮助作者生成创意内容或完善写作

产生高质量、风格一致的文本

许可证：其他
许可证名称：mrl
语言：

英语
标签：
聊天
任务标签：文本生成
库名称：transformers
数据集：
anthracite-org/c2_logs_16k_mistral-large_v1.2
anthracite-org/kalo-opus-instruct-22k-no-refusal
lodrick-the-lafted/kalo-opus-instruct-3k-filtered
anthracite-org/nopm_claude_writing_fixed
anthracite-org/kalo_opus_misc_240827
anthracite-org/kalo_misc_part2

image/png

本仓库包含模型的GGUF量化版本。如需原始权重，请访问此处。

该系列模型旨在复现Claude 3模型（特别是Sonnet和Opus）的文本生成质量。

本模型基于mistralai/Mistral-Large-Instruct-2407进行微调。

提示格式

典型输入如下：

<s>[INST] 系统消息\n用户消息[/INST] 助手消息</s>[INST] 用户消息[/INST]

SillyTavern模板

以下是适用于SillyTavern的指令和上下文模板。

上下文模板

默认SillyTavern模板即可适用

指令模板

默认SillyTavern模板即可适用

Axolotl配置

查看axolotl配置

基础模型: mistralai/Mistral-Large-Instruct-2407  
模型类型: AutoModelForCausalLM  
分词器类型: AutoTokenizer  

插件:  
  - axolotl.integrations.liger.LigerPlugin  
liger_rope: true  
liger_rms_norm: true  
liger_swiglu: true  
liger_fused_linear_cross_entropy: true  

8位加载: false  
4位加载: false  
严格模式: false  

数据集:  
  - 路径: anthracite-org/c2_logs_16k_mistral-large_v1.2  
    类型: sharegpt  
    对话格式: mistral  
  - 路径: anthracite-org/kalo-opus-instruct-22k-no-refusal  
    类型: sharegpt  
    对话格式: mistral  
  - 路径: lodrick-the-lafted/kalo-opus-instruct-3k-filtered  
    类型: sharegpt  
    对话格式: mistral  
  - 路径: anthracite-org/nopm_claude_writing_fixed  
    类型: sharegpt  
    对话格式: mistral  
  - 路径: anthracite-org/kalo_opus_misc_240827  
    类型: sharegpt  
    对话格式: mistral  
  - 路径: anthracite-org/kalo_misc_part2  
    类型: sharegpt  
    对话格式: mistral  

合并数据集随机打乱: true  
数据集预处理路径: ./data/magnum-123b-data  
验证集比例: 0.0  
输出目录: ./data/123b-fft-out  

序列长度: 16384  
样本打包: true  
填充至序列长度: true  

适配器配置:  
LoRA模型目录:  
LoRA秩:  
LoRA alpha值:  
LoRA丢弃率:  
LoRA目标线性层:  
LoRA扇入扇出:  

WandB项目: 123b-magnum-fft  
WandB实体:  
WandB监控:  
WandB运行名称: alter-attempt-04  
WandB记录模型:  

梯度累积步数: 4  
微批次大小: 1  
训练轮数: 2  
优化器: adamw_bnb_8bit  
学习率调度器: cosine  
学习率: 0.0000015  

输入训练: false  
按长度分组: false  
bf16: auto  
fp16:  
tf32: false  

梯度检查点: unsloth  
早停耐心值:  
从检查点恢复:  
本地排名:  
日志步长: 1  
xformers注意力:  
闪存注意力: true  

预热步数: 40  
每轮评估次数:  
评估表大小:  
评估最大新标记数:  
每轮保存次数: 2  
调试:  
DeepSpeed配置: deepspeed_configs/zero3_bf16.json  
权重衰减: 0.01  
FSDP:  
FSDP配置:  
特殊标记: