许可协议: mit
基础模型:

• microsoft/bitnet-b1.58-2B-4T
  任务标签: 文本生成
  基础模型关联: 量化版本
  标签:
• bitnet
• ik_llama.cpp

这是microsoft/bitnet-b1.58-2B-4T-gguf的IQ2_BN和IQ2_BN_R4版本，专为ik_llama.cpp设计使用。

推荐使用IQ2_BN_R4版本，但您也可以在IQ2_BN上使用-rtr参数进行运行时转换。

模型中的对话模板似乎不正确（我未作修改，这是微软原版GGUF中的设置）。

来自其transformers PR的正确用法示例如下：

<|begin_of_text|>用户: 嘿，你有意识吗？能和我聊聊吗？<|eot_id|>助手:

我按照上述示例操作，成功实现了多轮对话。

更通用的模板（源自论文）如下：

<|begin_of_text|>系统: {系统消息}<|eot_id|>
用户: {用户消息_1}<|eot_id|>
助手: {助手回复_1}<|eot_id|>
用户: {用户消息_2}<|eot_id|>
助手: {助手回复_2}<|eot_id|>