🚀 bigcode/starcoder2-3b - GGUF

本仓库包含 bigcode/starcoder2-3b 的 GGUF 格式模型文件。这些文件由 TensorBlock 提供的机器进行量化，并且与截至 提交 b4011 的 llama.cpp 兼容。

✨ 主要特性

• 任务类型：文本生成。
• 数据集：使用了 bigcode/the-stack-v2-train 数据集进行训练。
• 指标表现：在多个数据集上有不同的指标表现，如在 CruxEval - I 数据集上的 pass@1 为 32.7，在 HumanEval 数据集上的 pass@1 为 31.7 等。

📚 详细文档

模型指标

我们的项目

项目名称	项目描述	项目图片	项目链接
Forge	一个与 OpenAI 兼容的多供应商路由层。		点击尝试
Awesome MCP Servers	一个全面的模型上下文协议 (MCP) 服务器集合。		查看详情
TensorBlock Studio	一个轻量级、开放且可扩展的多 LLM 交互工作室。		查看详情

模型文件规格

📦 安装指南

命令行方式

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/starcoder2-3b-GGUF --include "starcoder2-3b-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式下载多个模型文件（例如 *Q4_K*gguf），可以尝试：

huggingface-cli download tensorblock/starcoder2-3b-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📄 许可证

本模型使用 bigcode - openrail - m 许可证。