pipeline_tag: 文本生成 inference: false license: apache-2.0 library_name: transformers tags:

• 语言模型
• granite-3.2 base_model:
• ibm-granite/granite-3.1-2b-instruct

granite-3.2-2b-instruct GGUF模型

选择正确的模型格式

选择合适的模型格式取决于您的硬件能力和内存限制。

BF16（Brain Float 16）– 如果支持BF16加速则使用

• 一种16位浮点格式，专为更快计算而设计，同时保持良好的精度。
• 提供与FP32相似的动态范围，但内存占用更低。
• 如果您的硬件支持BF16加速（请检查设备规格），则推荐使用。
• 与FP32相比，适用于高性能推理，减少内存占用。

📌 使用BF16如果：
✔ 您的硬件具有原生BF16支持（例如，较新的GPU、TPU）。
✔ 您希望在节省内存的同时保持较高精度。
✔ 您计划将模型重新量化为另一种格式。

📌 避免使用BF16如果：
❌ 您的硬件不支持BF16（可能会回退到FP32，运行速度较慢）。
❌ 您需要与缺乏BF16优化的旧设备兼容。

F16（Float 16）– 比BF16更广泛支持

• 一种16位浮点格式，精度较高，但数值范围比BF16小。
• 适用于大多数支持FP16加速的设备（包括许多GPU和一些CPU）。
• 数值精度略低于BF16，但通常足以进行推理。

📌 使用F16如果：
✔ 您的硬件支持FP16但不支持BF16。
✔ 您需要在速度、内存占用和准确性之间取得平衡。
✔ 您在GPU或其他针对FP16计算优化的设备上运行。

📌 避免使用F16如果：
❌ 您的设备缺乏原生FP16支持（可能运行速度低于预期）。
❌ 您有内存限制。

量化模型（Q4_K、Q6_K、Q8等）– 适用于CPU和低VRAM推理

量化减少了模型大小和内存占用，同时尽可能保持准确性。

• 低位模型（Q4_K） → 内存占用最小，但精度可能较低。
• 高位模型（Q6_K、Q8_0） → 准确性更好，但需要更多内存。

📌 使用量化模型如果：
✔ 您在CPU上运行推理，需要一个优化模型。
✔ 您的设备VRAM较低，无法加载全精度模型。
✔ 您希望减少内存占用，同时保持合理的准确性。

📌 避免使用量化模型如果：
❌ 您需要最高精度（全精度模型更适合）。
❌ 您的硬件有足够的VRAM支持更高精度的格式（BF16/F16）。

极低位量化（IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0）

这些模型针对极致内存效率进行了优化，适用于低功耗设备或大规模部署，其中内存是关键限制因素。

• IQ3_XS：超低位量化（3位），极致内存效率。

  • 使用场景：适用于超低内存设备，甚至Q4_K也太大时。
  • 权衡：与高位量化相比，精度较低。

• IQ3_S：小块大小，最大化内存效率。

  • 使用场景：适用于低内存设备，其中IQ3_XS过于激进。

• IQ3_M：中等块大小，比IQ3_S精度更高。

  • 使用场景：适用于低内存设备，其中IQ3_S限制过多。

• Q4_K：4位量化，块优化以提高准确性。

  • 使用场景：适用于低内存设备，其中Q6_K太大。

• Q4_0：纯4位量化，针对ARM设备优化。

  • 使用场景：适用于基于ARM的设备或低内存环境。

模型格式选择摘要表

包含的文件及详情

granite-3.2-2b-instruct-bf16.gguf

• 模型权重以BF16保存。
• 如果您想将模型重新量化为其他格式，请使用此文件。
• 如果您的设备支持BF16加速，则最佳选择。

granite-3.2-2b-instruct-f16.gguf

• 模型权重以F16保存。
• 如果您的设备支持FP16，尤其是BF16不可用时，请使用此文件。

granite-3.2-2b-instruct-bf16-q8_0.gguf

• 输出和嵌入保持为BF16。
• 其他所有层量化为Q8_0。
• 如果您的设备支持BF16，并且您需要一个量化版本，请使用此文件。

granite-3.2-2b-instruct-f16-q8_0.gguf

• 输出和嵌入保持为F16。
• 其他所有层量化为Q8_0。

granite-3.2-2b-instruct-q4_k.gguf

• 输出和嵌入量化为Q8_0。
• 其他所有层量化为Q4_K。
• 适用于内存有限的CPU推理。

granite-3.2-2b-instruct-q4_k_s.gguf

• 最小的Q4_K变体，以牺牲精度为代价减少内存占用。
• 适用于极低内存配置。

granite-3.2-2b-instruct-q6_k.gguf

• 输出和嵌入量化为Q8_0。
• 其他所有层量化为Q6_K。

granite-3.2-2b-instruct-q8_0.gguf

• 完全Q8量化模型，精度更高。
• 需要更多内存，但提供更高精度。

granite-3.2-2b-instruct-iq3_xs.gguf

• IQ3_XS量化，针对极致内存效率优化。
• 适用于超低内存设备。

granite-3.2-2b-instruct-iq3_m.gguf

• IQ3_M量化，提供中等块大小以提高准确性。
• 适用于低内存设备。

granite-3.2-2b-instruct-q4_0.gguf

• 纯Q4_0量化，针对ARM设备优化。
• 适用于低内存环境。
• 如需更高精度，推荐使用IQ4_NL。

🚀 如果您觉得这些模型有用

❤ 请点击“点赞”支持！
帮助我测试AI驱动的网络监控助手，具备量子安全检查功能：
👉 免费网络监控工具

💬 如何测试：

1. 点击聊天图标（页面右下角）
2. 选择AI助手类型：
   • TurboLLM（GPT-4-mini）
   • FreeLLM（开源模型）
   • TestLLM（实验性CPU专用）

我正在测试的内容

我正在探索小型开源模型在AI网络监控中的极限，具体包括：

• 针对实时网络服务的函数调用
• 模型可以小到什么程度，同时仍能处理：
  • 自动化Nmap扫描
  • 量子安全检查
  • Metasploit集成

🟡 TestLLM – 当前实验模型（llama.cpp，6个CPU线程）：

• ✅ 零配置设置
• ⏳ 30秒加载时间（推理较慢，但无API成本）
• 🔧 寻求帮助！ 如果您对边缘设备AI感兴趣，欢迎合作！

其他助手

🟢 TurboLLM – 使用gpt-4-mini实现：

• 实时网络诊断
• 自动化渗透测试（Nmap/Metasploit）
• 🔑 通过下载免费网络监控代理获取更多令牌

🔵 HugLLM – 开源模型（≈8B参数）：

• 比TurboLLM多2倍令牌
• AI驱动的日志分析
• 🌐 基于Hugging Face Inference API运行

💡 测试AI命令示例：

1. "提供我网站SSL证书的信息"
2. "检查我的服务器是否使用量子安全加密通信"
3. "运行快速Nmap漏洞测试"

Granite-3.2-2B-Instruct

模型概述： Granite-3.2-2B-Instruct是一个20亿参数的长上下文AI模型，专为思维推理能力微调。基于Granite-3.1-2B-Instruct构建，它通过混合使用宽松许可的开源数据集和内部生成的合成数据训练，旨在提升推理任务表现。该模型支持对其思维能力的可控性，确保仅在需要时应用。

• 开发者： Granite团队，IBM
• 网站: Granite文档
• 发布日期: 2025年2月26日
• 许可证: Apache 2.0

支持语言： 英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。用户也可针对这12种语言之外的语言微调此Granite模型。

用途： 该模型设计用于处理通用指令跟随任务，可集成到包括商业应用在内的各种AI助手中。

能力

• 思维推理
• 摘要生成
• 文本分类
• 文本提取
• 问答
• 检索增强生成（RAG）
• 代码相关任务
• 函数调用任务
• 多语言对话用例
• 长上下文任务，包括长文档/会议摘要、长文档问答等。