标签:

• 量化
• 2比特
• 3比特
• 4比特
• 5比特
• 6比特
• 8比特
• GGUF
• 文本生成
• llama
• llama-3
• 文本生成 模型名称: Llama-3-8B-Instruct-64k-GGUF 基础模型: MaziyarPanahi/Llama-3-8B-Instruct-64k 推理: 不支持 模型创建者: MaziyarPanahi 任务标签: 文本生成 量化者: MaziyarPanahi

MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF

• 模型作者: MaziyarPanahi
• 原始模型: MaziyarPanahi/Llama-3-8B-Instruct-64k

模型描述

MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF 包含 MaziyarPanahi/Llama-3-8B-Instruct-64k 的GGUF格式模型文件。

关于GGUF

GGUF是由llama.cpp团队于2023年8月21日推出的新格式。它取代了不再受llama.cpp支持的GGML格式。

以下是已知支持GGUF的客户端和库的不完整列表：

• llama.cpp。GGUF的源项目。提供CLI和服务器选项。
• llama-cpp-python，一个支持GPU加速、LangChain集成和OpenAI兼容API服务器的Python库。
• LM Studio，一款适用于Windows和macOS（Silicon芯片）的易用且功能强大的本地GUI工具，支持GPU加速。Linux版本已于2023年11月27日进入测试阶段。
• text-generation-webui，最广泛使用的网页界面，具有丰富功能和强大扩展。支持GPU加速。
• KoboldCpp，功能全面的网页界面，支持跨平台和GPU架构的加速。特别适合故事创作。
• GPT4All，一款免费开源的本地运行GUI工具，支持Windows、Linux和macOS，并提供完整的GPU加速。
• LoLLMS Web UI，一个出色的网页界面，具有许多独特功能，包括完整的模型库以便轻松选择模型。
• Faraday.dev，一款吸引人且易于使用的基于角色的聊天GUI工具，支持Windows和macOS（Silicon和Intel芯片），并提供GPU加速。
• candle，一个专注于性能的Rust机器学习框架，包括GPU支持和易用性。
• ctransformers，一个支持GPU加速、LangChain集成和OpenAI兼容AI服务器的Python库。请注意，截至2023年11月27日，ctransformers已长时间未更新，不支持许多新近模型。

特别致谢

🙏 特别感谢 Georgi Gerganov 以及 llama.cpp 的整个团队，正是他们的努力让这一切成为可能。