许可协议：cc-by-nc-2.0

lzlv_70B

基于Mythomax/MLewd_13B风格的多选70B模型融合体

本项目是对多个LLaMA2 70B微调模型进行融合的成果，专为角色扮演和创意工作设计。目标在于打造兼具创造力与智能的增强型体验模型。

效果如何？或许成功了。在个人测试中，其主观表现似乎优于各原始单体模型。

GGUF格式的4_K_M与5_K_M版本可在此获取：https://huggingface.co/lizpreciatior/lzlv_70b_fp16_hf/settings

2023年10月29日更新： 感谢TheBloke为lzlv制作全系列量化版本：https://huggingface.co/TheBloke/lzlv_70B-GGUF

同步推荐：lzlv与limarpv3的融合版本：https://huggingface.co/Doctor-Shotgun/lzlv-limarpv3-l2-70b/tree/main 感谢LoRA技术的融合应用，这为模型注入了更多创意火花。

lzlvV2版本正在开发中，即将发布（具体时间待定）。

融合流程：

基础模型构成：

• NousResearch/Nous-Hermes-Llama2-70b：擅长角色扮演，但在复杂指令遵循方面稍显不足
• Xwin-LM/Xwin-LM-7B-V0.1：以卓越的指令遵循能力和开箱即用的创造力成为本次融合的基底模型
• Doctor-Shotgun/Mythospice-70b：作为创意型NSFW模型的意外发现，经个人量化测试后确认为理想的第三组件

特别鸣谢上述模型的创作者。需说明的是，Mythospice本身已包含Nous-Hermes成分，因此本融合体存在技术上的双重调用，这符合当前13B模型领域的常见实践。

融合方法借鉴Undi95在Undi95/MXLewdMini-L2-13B中的技术方案，具体配比如下：

第一阶段： Mythospice与Xwin采用SLERP渐变融合 [0.25, 0.3, 0.5]

第二阶段： Xwin与Hermes采用SLERP渐变融合 [0.4, 0.3, 0.25]

最终将两阶段产物以0.5权重进行SLERP融合。

性能表现

经过数日实测，本模型基本保留了Xwin-70B的指令遵循能力，同时吸收了另两个模型的创意特质。在处理复杂情境时表现优异，其输出相较Xwin-70b更具创作张力且略倾向NSFW风格。主观体验确有提升，客观效果请自行验证。

提示词格式：

采用Vicuna模板 用户：[输入内容] 助手：