许可证：Apache-2.0
库名称：gguf
流水线标签：文本生成
基础模型：jondurbin/bagel-2.8b-v0.2

注意：这些权重需要最新版本的llama.cpp（即提交c2101a2）。更多详情请见此处。

使用方法：

./main -e -p "[INST] 写一篇关于AI的文章。[/INST]\n" -m ggml-bagel-2.8b-v0.2-q8_0.gguf

来自llama.cpp补丁的作者：

我开始这项工作是为了尝试在llama.cpp中使用Mamba模型（而且已经有不少微调版本了），同时也是一次实验。事实证明，为一个新颖的模型架构实现支持非常有趣（至少在最终成功运行时是这样）。我用来测试LLM的最强设备是一台低功耗笔记本电脑，配备8GB内存和Intel CPU（无独立显卡），因此我无法以完整的f32精度运行Mamba-3B（完整权重需要11GB），但至少现在可以量化使用了。

Mamba模型的恒定内存使用量是一大优势，但这同时也意味着之前的状态不会全部保留在内存中（至少在当前的实现中，只保留最后一个状态），这意味着在服务器示例中可能会有不必要的提示重新处理，尤其是当客户端截断输出末尾时（另一个问题是停止标记未包含在服务器的响应中）。主示例不存在此类问题。

目前，Mamba的初始文本生成速度比基于Transformer的模型稍慢（在空上下文情况下），但与后者不同，Mamba的速度不会因处理的令牌数量增加而下降。
还需注意，量化可能会导致状态不稳定（使输出变得无意义），但这需要更多测试来确认发生的频率（因为我只在非常小的模型（130M）中观察到这种现象，尚未在更大的模型（3B）中出现）。

对于测试，我建议从https://huggingface.co/state-spaces/mamba-130m-hf转换，因为该模型较小，config.json无需修改，分词器文件已与模型文件放在一起，且token_embd权重与输出权重共享，因此下载体积更小。