🚀 kyutai/helium-1-2b - GGUF

本项目提供了基于 kyutai/helium-1-2b 的 GGUF 格式模型文件。该文件由 TensorBlock 提供的机器进行量化，并且与 commit b5753 版本的 llama.cpp 兼容。

🚀 快速开始

本仓库包含了 kyutai/helium-1-2b 的 GGUF 格式模型文件。下面将为你介绍如何下载和使用这些模型文件。

✨ 主要特性

• 多语言支持：支持保加利亚语（bg）、捷克语（cs）、丹麦语（da）等多种语言。
• 量化模型：使用 TensorBlock 提供的机器进行量化，与 llama.cpp 兼容。
• 多种量化类型：提供了 Q2_K、Q3_K_S、Q4_0 等多种量化类型的模型文件，以满足不同的使用需求。

📦 安装指南

命令行方式

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/kyutai_helium-1-2b-GGUF --include "helium-1-2b-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下载多个模型文件，可以尝试以下命令：

huggingface-cli download tensorblock/kyutai_helium-1-2b-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 详细文档

提示模板

无法自动确定提示格式。请查看原始模型仓库以获取正确的提示格式。

模型文件规格

🔗 相关项目

📄 许可证

本项目采用 CC BY-SA 4.0 许可证。