标签:

• 量化
• 2比特
• 3比特
• 4比特
• 5比特
• 6比特
• 8比特
• GGUF
• 文本生成 模型名称: Llama-3.2-3B-Instruct-abliterated-GGUF 基础模型: huihui-ai/Llama-3.2-3B-Instruct-abliterated 推理: 不支持 模型创建者: huihui-ai 任务标签: 文本生成 量化者: MaziyarPanahi

MaziyarPanahi/Llama-3.2-3B-Instruct-abliterated-GGUF

• 模型创建者: huihui-ai
• 原始模型: huihui-ai/Llama-3.2-3B-Instruct-abliterated

模型描述

MaziyarPanahi/Llama-3.2-3B-Instruct-abliterated-GGUF 包含 huihui-ai/Llama-3.2-3B-Instruct-abliterated 的GGUF格式模型文件。

关于GGUF

GGUF是由llama.cpp团队于2023年8月21日推出的新格式，用于替代已不再受支持的GGML格式。

以下是已知支持GGUF的部分客户端和库列表：

• llama.cpp。GGUF的源项目，提供CLI和服务端选项。
• llama-cpp-python，一个支持GPU加速、LangChain集成和OpenAI兼容API服务器的Python库。
• LM Studio，一款适用于Windows和macOS（Silicon芯片）的易用且功能强大的本地GUI工具，支持GPU加速。Linux版本已于2023年11月27日进入测试阶段。
• text-generation-webui，最广泛使用的Web UI，具有丰富的功能和强大的扩展，支持GPU加速。
• KoboldCpp，一个全功能的Web UI，支持跨平台和GPU架构的加速，特别适合故事生成。
• GPT4All，一款免费开源的本地运行GUI工具，支持Windows、Linux和macOS，并提供完整的GPU加速。
• LoLLMS Web UI，一个功能丰富的Web UI，包含许多独特特性，如完整的模型库便于模型选择。
• Faraday.dev，一款界面美观、易于使用的角色聊天GUI，支持Windows和macOS（包括Silicon和Intel芯片），并提供GPU加速。
• candle，一个专注于性能（包括GPU支持）和易用性的Rust机器学习框架。
• ctransformers，一个支持GPU加速、LangChain集成和OpenAI兼容AI服务器的Python库。需要注意的是，截至2023年11月27日，ctransformers已长期未更新，不支持许多新近模型。

特别致谢

特别感谢Georgi Gerganov及llama.cpp团队的全体成员，正是他们的努力让这一切成为可能。