许可证: mit
数据集:
- allura-org/Celeste-Filtered
- allura-org/neon-41k
- EVA-UNIT-01/Lilith-v0.2
语言:
- en
基础模型:
- THUDM/GLM-4-9B-0414
库名称: transformers
图片由 CalamitousFelicitousness 提供
GLM-4-9B-0414 Neon v2
基于 GLM-4-9B-0414 的角色扮演微调模型。体验流畅，个性鲜明，偶尔有些小古怪。文笔优美，既不像 Claude 也不像 Gemini。不过似乎不太喜欢过长的系统提示或角色卡，但对 JSON 格式的系统提示反应良好。
模型由 Auri 训练。
训练笔记
模型在包含 7700 万 tokens 的合成角色扮演和短篇故事生成数据集上训练了一个 epoch。训练耗时约 11 小时，使用了由 OwenArli 慷慨提供的 2xRTX 3090 工作站。训练配置采用了一些合理的默认值，结合 QLoRA 和 CCE 技术显著优化了内存使用，16k 上下文在 48GB 显存下运行良好且有余量。评估/损失值似乎存在问题，原因不明，但训练过程总体顺利。
特别感谢 ArliAI 提供算力支持并参与本次训练协作！
格式
模型遵循基础模型的 GLM4 指令格式。后端通常无法自动添加 BOS token，需手动添加。Jinja 模板适用于聊天补全场景。
[gMASK]<sop><|system|>
{系统提示}<|user|>
{用户输入}<|assistant|>
推荐采样器
无需特殊设置，经典参数即可：
温度 - 1
最小概率 - 0.1
重复惩罚 - 1.03
SillyTavern 示例导入文件（使用 Steelskull 的 Shingane-v1 系统提示）
在 KoboldCPP 等后端运行
正确运行 GGUFs 需使用最新版 KoboldCPP，并通过 CLI 添加 --overridekv glm4.rope.dimension_count=int:64 参数，或在 GUI 的 Tokens 标签页底部 overridekv 框中填入 glm4.rope.dimension_count=int:64。
感谢 DaringDuck 和 tofumagnate 提供的修复方案。
在 vLLM 上运行需从 git 仓库源码构建，完整 GLM4 支持尚未发布正式版。
基于 ExLLaMAv2/v3 的后端（如 TabbyAPI）应可直接支持该模型。
最新版 llama.cpp 服务器也应支持直接运行 GGUFs。
特别致谢
再次衷心感谢 OwenArli 提供算力资源并协助调参！
感谢 Artus 为模型预发布展示提供免费推理服务！
感谢 BeaverAI 社区成员的反馈和最优参数探索！
训练配置
查看 Axolotl 配置
base_model: /home/owen/models/GLM-4-9B-0414
strict: false
model_type: AutoModelForCausalLM
plugins:
- axolotl.integrations.liger.LigerPlugin
- axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin
liger_rope: false
liger_rms_norm: false
liger_glu_activation: false
liger_fused_linear_cross_entropy: false
cut_cross_entropy: true
output_dir: ./GLM-9B-Neon-v2
hub_model_id: AuriAetherwiing/GLM-9B-Neon-v2-LoRA
hf_use_auth_token: true
hub_strategy: "all_checkpoints"
datasets:
- path: ./Neon/neon.jsonl
type: chat_template
field_messages: conversations
message_field_role: from
message_field_content: value
- path: ./Neon/S2.jsonl
type: chat_template
field_messages: conversations
message_field_role: from
message_field_content: value
- path: ./Neon/SystemChat_subset_filtered_sharegpt_utf8fix.jsonl
type: chat_template
field_messages: conversations
message_field_role: from
message_field_content: value
num_epochs: 1
learning_rate: 1e-5
micro_batch_size: 1
gradient_accumulation_steps: 32
sequence_len: 16384
load_in_4bit: true
bf16: auto
adapter: qlora
lora_r: 64
lora_alpha: 64
lora_dropout: 0.1
flash_attention: true
sample_packing: true
Transformers%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)