---

许可证：Apache-2.0
支持语言：

• 英语
• 中文
• 日语
• 韩语
• 法语
• 阿拉伯语
• 西班牙语
• 葡萄牙语
  评估指标：
• 准确率
  基础模型：
• BlinkDL/rwkv-7-world
  任务标签：文本生成

RWKV7-Goose-World3-2.9B-HF GGUF 模型

选择正确的模型格式

选择合适的模型格式取决于您的硬件能力和内存限制。

BF16（Brain Float 16）——如果支持BF16加速则使用

• 一种16位浮点格式，专为更快计算而设计，同时保持良好的精度。
• 提供与FP32相似的动态范围，但内存占用更低。
• 如果您的硬件支持BF16加速（请检查设备规格），则推荐使用。
• 与FP32相比，适合高性能推理且内存占用更少。

📌 使用BF16的情况：
✔ 您的硬件原生支持BF16（例如较新的GPU、TPU）。
✔ 您希望在节省内存的同时获得更高的精度。
✔ 您计划将模型重新量化为其他格式。

📌 避免使用BF16的情况：
❌ 您的硬件不支持BF16（可能会回退到FP32，运行速度变慢）。
❌ 您需要与缺乏BF16优化的旧设备兼容。

---

F16（Float 16）——比BF16更广泛支持

• 一种16位浮点格式，精度较高，但数值范围比BF16小。
• 适用于大多数支持FP16加速的设备（包括许多GPU和一些CPU）。
• 数值精度略低于BF16，但通常足以满足推理需求。

📌 使用F16的情况：
✔ 您的硬件支持FP16但不支持BF16。
✔ 您需要在速度、内存占用和准确性之间取得平衡。
✔ 您在GPU或其他针对FP16计算优化的设备上运行。

📌 避免使用F16的情况：
❌ 您的设备不支持原生FP16（可能会比预期运行更慢）。
❌ 您有内存限制。

---

量化模型（Q4_K、Q6_K、Q8等）——适用于CPU和低显存推理

量化可减少模型大小和内存占用，同时尽可能保持准确性。

• 低位模型（Q4_K） → 内存占用最小，但精度可能较低。
• 高位模型（Q6_K、Q8_0） → 准确性更好，但需要更多内存。

📌 使用量化模型的情况：
✔ 您在CPU上运行推理，需要优化模型。
✔ 您的设备显存较低，无法加载全精度模型。
✔ 您希望减少内存占用，同时保持合理的准确性。

📌 避免使用量化模型的情况：
❌ 您需要最高精度（全精度模型更适合）。
❌ 您的硬件有足够的显存支持更高精度的格式（BF16/F16）。

---

极低位量化（IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0）

这些模型针对极致内存效率进行了优化，非常适合低功耗设备或大规模部署，其中内存是关键限制因素。

• IQ3_XS：超低位量化（3位），极致内存效率。

  • 适用场景：最适合超低内存设备，甚至Q4_K也太大时。
  • 权衡：与高位量化相比，精度较低。

• IQ3_S：小块大小，最大化内存效率。

  • 适用场景：最适合低内存设备，其中IQ3_XS过于激进。

• IQ3_M：中等块大小，比IQ3_S精度更高。

  • 适用场景：适合低内存设备，其中IQ3_S限制过多。

• Q4_K：4位量化，块优化以提高精度。

  • 适用场景：最适合低内存设备，其中Q6_K太大。

• Q4_0：纯4位量化，针对ARM设备优化。

  • 适用场景：最适合基于ARM的设备或低内存环境。

---

模型格式选择总结表

模型格式	精度	内存占用	设备要求	最佳使用场景
BF16	最高	高	支持BF16的GPU/CPU	高速推理，内存占用较低
F16	高	高	支持FP16的设备	GPU推理，BF16不可用时
Q4_K	中低	低	CPU或低显存设备	内存受限环境的最佳选择
Q6_K	中	中等	内存较多的CPU	量化模型中精度较好
Q8_0	高	中等	显存足够的CPU或GPU	量化模型中精度最高
IQ3_XS	极低	极低	超低内存设备	极致内存效率，精度较低
Q4_0	低	低	ARM或低内存设备	llama.cpp可针对ARM设备优化

---

包含文件及详情

RWKV7-Goose-World3-2.9B-HF-bf16.gguf

• 模型权重以BF16保存。
• 如果您想将模型重新量化为其他格式，请使用此文件。
• 如果您的设备支持BF16加速，则最佳选择。

RWKV7-Goose-World3-2.9B-HF-f16.gguf

• 模型权重以F16存储。
• 如果您的设备支持FP16，尤其是BF16不可用时，请使用此文件。

RWKV7-Goose-World3-2.9B-HF-bf16-q8_0.gguf

• 输出和嵌入层保持为BF16。
• 其他所有层量化为Q8_0。
• 如果您的设备支持BF16且需要量化版本，请使用此文件。

RWKV7-Goose-World3-2.9B-HF-f16-q8_0.gguf

• 输出和嵌入层保持为F16。
• 其他所有层量化为Q8_0。

RWKV7-Goose-World3-2.9B-HF-q4_k.gguf

• 输出和嵌入层量化为Q8_0。
• 其他所有层量化为Q4_K。
• 适合内存有限的CPU推理。

RWKV7-Goose-World3-2.9B-HF-q4_k_s.gguf

• 最小的Q4_K变体，内存占用更少，但精度更低。
• 最适合极低内存配置。

RWKV7-Goose-World3-2.9B-HF-q6_k.gguf

• 输出和嵌入层量化为Q8_0。
• 其他所有层量化为Q6_K。

RWKV7-Goose-World3-2.9B-HF-q8_0.gguf

• 完全Q8量化模型，精度更高。
• 需要更多内存，但提供更高精度。

RWKV7-Goose-World3-2.9B-HF-iq3_xs.gguf

• IQ3_XS量化，针对极致内存效率优化。
• 最适合超低内存设备。

RWKV7-Goose-World3-2.9B-HF-iq3_m.gguf

• IQ3_M量化，提供中等块大小以提高精度。
• 适合低内存设备。

RWKV7-Goose-World3-2.9B-HF-q4_0.gguf

• 纯Q4_0量化，针对ARM设备优化。
• 最适合低内存环境。
• 如需更高精度，建议使用IQ4_NL。

🚀 如果您觉得这些模型有用

❤ 请点击“点赞”支持！
帮助测试我的AI驱动的网络监控助手，具备量子安全检查功能：
👉 免费网络监控工具

💬 如何测试：

1. 点击聊天图标（页面右下角）
2. 选择AI助手类型：
   • TurboLLM（GPT-4-mini）
   • FreeLLM（开源模型）
   • TestLLM（实验性CPU专用）

测试内容

我正在探索小型开源模型在AI网络监控中的极限，特别是：

• 针对实时网络服务的函数调用
• 模型可以小到什么程度，同时仍能处理：
  • 自动化Nmap扫描
  • 量子安全检查
  • Metasploit集成

🟡 TestLLM——当前实验模型（6线程CPU上的llama.cpp）：

• ✅ 零配置设置
• ⏳ 30秒加载时间（推理较慢，但无API成本）
• 🔧 需要帮助！ 如果您对边缘设备AI感兴趣，欢迎合作！

其他助手

🟢 TurboLLM——使用gpt-4-mini实现：

• 实时网络诊断
• 自动化渗透测试（Nmap/Metasploit）
• 🔑 通过下载免费网络监控代理获取更多令牌

🔵 HugLLM——开源模型（≈80亿参数）：

• 比TurboLLM多2倍令牌
• AI驱动的日志分析
• 🌐 运行于Hugging Face推理API

💡 测试示例AI命令：

1. "提供我网站SSL证书的信息"
2. "检查我的服务器是否使用量子安全加密通信"
3. "运行快速Nmap漏洞测试"

rwkv7-2.9B-world

这是基于flash-linear attention格式的RWKV-7模型。

模型详情

模型描述

• 开发者： Bo Peng、Yu Zhang、Songlin Yang、Ruichong Zhang
• 资助方： RWKV项目（隶属于LF AI & Data基金会）
• 模型类型： RWKV7
• 支持语言（NLP）： 英语
• 许可证： Apache-2.0
• 参数量： 29亿
• 分词器： RWKV World分词器
• 词汇量： 65,536

模型来源

• 代码库： https://github.com/fla-org/flash-linear-attention ; https://github.com/BlinkDL/RWKV-LM
• 论文： 撰写中

用途

使用此模型前，请安装flash-linear-attention和最新版transformers：

pip install git+https://github.com/fla-org/flash-linear-attention  
pip install 'transformers>=4.48.0'  

直接使用

您可以像使用其他HuggingFace模型一样使用此模型：

from transformers import AutoModelForCausalLM, AutoTokenizer  
model = AutoModelForCausalLM.from_pretrained('fla-hub/rwkv7-2.9B-world', trust_remote_code=True)  
tokenizer = AutoTokenizer.from_pretrained('fla-hub/rwkv7-2.9B-world', trust_remote_code=True)  
model = model.cuda()  
prompt = "什么是大语言模型？"  
messages = [  
    {"role": "user", "content": "你是谁？"},  
    {"role": "assistant", "content": "我是基于GPT-3的模型。"},  
    {"role": "user", "content": prompt}  
]  
text = tokenizer.apply_chat_template(  
    messages,  
    tokenize=False,  
    add_generation_prompt=True  
)  

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)  

generated_ids = model.generate(  
    **model_inputs,  
    max_new_tokens=1024,  
)  
generated_ids = [  
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)  
]  

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=False)[0]  
print(response)  

训练数据

此模型基于World v3数据集训练，总token数为3.119万亿。

训练超参数

• 训练模式： bfloat16，学习率从4e-4到1e-5的“延迟”余弦衰减，权重衰减0.1（中期逐步增加批次大小）
• 最终损失： 1.8745
• 总token数： 3.119万亿

常见问题

问：safetensors元数据为空。

答：升级transformers至>=4.48.0：pip install 'transformers>=4.48.0'