许可协议: cc-by-nc-4.0 模型类型: 文本生成 基础模型: CohereForAI/c4ai-command-r-plus

Command R+ GGUF模型

简介

本仓库包含适用于llama.cpp的GGUF权重文件。自b2636版本起开始支持这些权重。从提交dd2d53a开始，本仓库所有权重均包含对话模板。

在imatrix文件夹中，您可以找到基于重要性矩阵的量化版本。该重要性矩阵是使用kalomaze提供的groups_merged.txt训练而成。

快速开始

1. 请确保您使用的是b2636或更新版本
2. 使用以下命令启动：

./main -p "<|START_OF_TURN_TOKEN|><|USER_TOKEN|>你是谁？<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>" --color -m /路径/command-r-plus-Q3_K_L-00001-of-00002.gguf

在wikitext-2-raw上的困惑度[测试中]

权重合并说明

自提交8a28d12后，权重文件使用gguf-split进行分割，这意味着您无需手动合并权重。如上方示例所示，只需传入第一个分割文件，llama.cpp将自动加载所有分割文件。如需合并分割文件，可使用以下命令：

./gguf-split --merge /路径/command-r-plus-f16-00001-of-00005.gguf /路径/command-r-plus-f16-combined.gguf