标签:

• 量化
• 2比特
• 3比特
• 4比特
• 5比特
• 6比特
• 8比特
• GGUF
• 文本生成
• 混合专家模型 模型名称: Llama-3-Smaug-8B-GGUF 基础模型: abacusai/Llama-3-Smaug-8B 推理支持: 否 模型创建者: abacusai 任务标签: 文本生成 量化处理: MaziyarPanahi

MaziyarPanahi/Llama-3-Smaug-8B-GGUF

• 模型作者: abacusai
• 原始模型: abacusai/Llama-3-Smaug-8B

模型描述

本仓库提供abacusai/Llama-3-Smaug-8B的GGUF格式量化模型文件。

使用指南

加载GGUF模型

使用Llama-3模型时，必须遵循其特定的提示模板格式：

./llama.cpp/main -m Llama-3-Smaug-8B.Q2_K.gguf -r '<|eot_id|>' --in-prefix "\n<|start_header_id|>user<|end_header_id|>\n\n" --in-suffix "<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n" -p "<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\n你是一个乐于助人、聪明、善良且高效的AI助手。你总是竭尽所能满足用户需求。<|eot_id|>\n<|start_header_id|>user<|end_header_id|>\n\n你好！最近怎么样？<|eot_id|>\n<|start_header_id|>assistant<|end_header_id|>\n\n" -n 1024

关于GGUF格式

GGUF是由llama.cpp团队于2023年8月21日推出的新格式，用于替代已停止维护的GGML格式。

以下是部分支持GGUF格式的客户端和工具库：

• llama.cpp - GGUF的参考实现，提供CLI和服务端接口
• text-generation-webui - 功能丰富的Web界面，支持GPU加速
• KoboldCpp - 全平台GPU加速的Web UI，特别适合故事创作
• GPT4All - 跨平台本地GUI应用，支持Windows/Linux/macOS的GPU加速
• LM Studio - 易用的本地GUI（支持Windows/macOS硅芯片），截至2023年11月27日Linux版本处于测试阶段
• LoLLMS Web UI - 特色Web界面，内置丰富的模型库
• Faraday.dev - 面向角色的聊天GUI（支持Windows/macOS），具备GPU加速
• llama-cpp-python - 支持GPU加速的Python库，兼容LangChain和OpenAI API
• candle - 注重性能的Rust机器学习框架
• ctransformers - 注：截至2023年11月27日，该项目已长期未更新，对新模型支持有限