许可证：WTFPL 库名称：GGUF 管道标签：文本生成 基础模型：Q-bert/MambaHermes-3B

注意：这些权重需要最新版本的llama.cpp（即提交c2101a2）。更多详情请参阅此处。

来自llama.cpp补丁的作者：

我开始这项工作是为了进行实验，并且因为我希望尝试在llama.cpp中使用Mamba模型（此外，已经有不少微调版本了）。事实证明，为一个新颖的模型架构实现支持非常有趣（至少在最终成功时是这样）。我用来尝试LLM的最强大机器是一台低功耗笔记本电脑，配备8GB内存和Intel CPU（没有独立显卡），所以我无法以完整的f32精度尝试Mamba-3B（完整权重需要11GB），但至少现在可以使用量化版本。

恒定内存使用是Mamba模型的一大优势，但这也意味着之前的状态不会全部保存在内存中（至少在当前的实现中，只保留最后一个状态），这意味着在服务器示例中可能会有比必要更多的提示重新处理，特别是如果你的客户端截断了输出的末尾（另一个问题是停止标记未包含在服务器的响应中）。主示例没有这个问题。

目前，Mamba的初始文本生成速度比基于Transformer的模型稍慢（在空上下文情况下），但与它们不同，Mamba的速度不会随着处理的令牌数量而下降。另外请注意，量化可能会导致状态不稳定（使输出变得无意义），但这需要更多测试来确定发生的频率（因为我只在非常小的模型（130M）中看到这种情况，尚未在更大的模型（3B）中观察到）。

对于测试，我建议从https://huggingface.co/state-spaces/mamba-130m-hf转换，因为它体积小，config.json不需要修改，分词器已经位于模型文件旁边，并且token_embd权重与输出权重共享，因此下载体积更小。