🚀 WizardLM-2-7B-abliterated-GGUF

这是 fearlessdots/WizardLM-2-7B-abliterated 的量化版本，使用 llama.cpp 创建。

📚 详细文档

模型描述

这是 WizardLM-2-7B 模型，具有正交化的 bfloat16 safetensor 权重，基于 @failspy 的实现。更多信息如下：

• 展示该方法的原始论文预览：https://www.alignmentforum.org/posts/jGuXSZgv6qfdhMCuJ/refusal-in-llms-is-mediated-by-a-single-direction
• 由 @failspy 提供的包含该方法实现的 Jupyter 笔记本：https://huggingface.co/failspy/llama-3-70B-Instruct-abliterated/blob/main/ortho_cookbook.ipynb

提示模板

此模型使用 Vicuna 的提示格式，支持 多轮 对话。

原始模型卡片

🏠 WizardLM-2 发布博客 🤗 HF 仓库 •🐱 Github 仓库 • 🐦 Twitter • 📃 WizardLM • 📃 WizardCoder • 📃 WizardMath
👋 加入我们的 Discord

新闻 🔥🔥🔥 [2024/04/15]

我们推出并开源了下一代最先进的大语言模型 WizardLM-2，它在复杂聊天、多语言、推理和智能体方面有更好的性能。新系列包括三个前沿模型：WizardLM-2 8x22B、WizardLM-2 70B 和 WizardLM-2 7B。

• WizardLM-2 8x22B 是我们最先进的模型，与最先进的专有模型相比，表现出极具竞争力的性能，并且始终优于所有现有的最先进的开源模型。
• WizardLM-2 70B 达到了顶级推理能力，是同规模模型中的首选。
• WizardLM-2 7B 是最快的，并且与现有大 10 倍的开源领先模型相比，表现相当。

更多关于 WizardLM-2 的详细信息，请阅读我们的 发布博客文章 和即将发布的论文。

模型详情

模型能力

• MT-Bench 我们还采用了 lmsys 提出的基于 GPT - 4 的自动 MT - Bench 评估框架来评估模型的性能。WizardLM-2 8x22B 与最先进的专有模型相比，表现出极具竞争力的性能。同时，WizardLM-2 7B 和 WizardLM-2 70B 在 7B 到 70B 模型规模的其他领先基线模型中都是表现最好的模型。

• 人工偏好评估 我们精心收集了一组复杂且具有挑战性的真实世界指令集，其中包括人类的主要需求，如写作、编码、数学、推理、智能体和多语言。我们报告了无平局的胜负率：

  • WizardLM-2 8x22B 仅略落后于 GPT - 4 - 1106 - preview，并且明显强于 Command R Plus 和 GPT4 - 0314。
  • WizardLM-2 70B 优于 GPT4 - 0613、Mistral - Large 和 Qwen1.5 - 72B - Chat。
  • WizardLM-2 7B 与 Qwen1.5 - 32B - Chat 相当，并且超过了 Qwen1.5 - 14B - Chat 和 Starling - LM - 7B - beta。

方法概述

我们构建了一个 完全由人工智能驱动的合成训练系统 来训练 WizardLM-2 模型，有关该系统的更多详细信息，请参考我们的 博客。

使用说明

⚠️ 重要提示

WizardLM-2 采用 Vicuna 的提示格式，支持 多轮 对话。提示格式应如下：

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, 
detailed, and polite answers to the user's questions. USER: Hi ASSISTANT: Hello.</s>
USER: Who are you? ASSISTANT: I am WizardLM.</s>......

我们在 github 上提供了一个 WizardLM-2 推理演示 代码。

📄 许可证

本项目采用 Apache 2.0 许可证。