语言:

• 英文 许可证: llama3 基础模型: Groq/Llama-3-Groq-8B-Tool-Use 管道标签: 文本生成 标签:
• facebook
• meta
• pytorch
• llama
• llama-3
• groq
• 工具使用
• 函数调用
• TensorBlock
• GGUF

Groq/Llama-3-Groq-8B-Tool-Use - GGUF

本仓库包含Groq/Llama-3-Groq-8B-Tool-Use的GGUF格式模型文件。

这些文件由TensorBlock提供的机器进行量化，并与commit b4011版本的llama.cpp兼容。

我们的项目

Awesome MCP Servers	TensorBlock Studio
一个全面的模型上下文协议(MCP)服务器集合。	一个轻量级、开放且可扩展的多LLM交互工作室。
😀 查看我们的作品 😀	😀 查看我们的作品 😀

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{系统提示}<|eot_id|><|start_header_id|>user<|end_header_id|>

{提示}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

模型文件规格

下载指南

命令行

首先，安装Huggingface客户端

pip install -U "huggingface_hub[cli]"

然后，下载单个模型文件到本地目录

huggingface-cli download tensorblock/Llama-3-Groq-8B-Tool-Use-GGUF --include "Llama-3-Groq-8B-Tool-Use-Q2_K.gguf" --local-dir 本地目录

如果想下载多个匹配特定模式的文件(例如*Q4_K*gguf)，可以尝试:

huggingface-cli download tensorblock/Llama-3-Groq-8B-Tool-Use-GGUF --local-dir 本地目录 --local-dir-use-symlinks False --include='*Q4_K*gguf'