许可协议: cc-by-nc-4.0 任务类型: 文本生成 库名称: gguf 基础模型: CohereForAI/c4ai-command-r-plus

2024-05-05: 随着提交889bdd7的合并，该模型现已支持BPE预分词，因此我将更新所有量化版本。

2024-04-09: 对该模型的支持已合并至主分支。
拉取请求PR #6491
提交5dc9dd71
Noeda的分支无法使用这些权重文件，您需要llama.cpp的主分支。

注意: 请勿直接拼接分片文件（或块）——如需合并文件应使用gguf-split工具（大多数使用场景无需此操作）。

• 为https://huggingface.co/CohereForAI/c4ai-command-r-plus提供的GGUF重要性矩阵(imatrix)量化版本
• 重要性矩阵使用wiki.train.raw训练约10万token（200批，每批512token）
• 如何选择适合的GGUF？（Artefact2提供） - X轴为文件大小，Y轴为困惑度（困惑度越低质量越好）。最佳平衡点（大小vsPPL）包括IQ4_XS、IQ3_M/IQ3_S、IQ3_XS/IQ3_XXS、IQ2_M和IQ2_XS。
• K-quant也应用了重要性矩阵（仅限Q6_K以下版本）
• 非必要操作：可使用gguf-split --merge <首分片> <输出文件>合并GGUF文件——自f482bb2e提交后已无需此步骤
• 加载分片模型时只需通过--model或-m参数传入首个分片
• 什么是重要性矩阵(imatrix)? 作者在此详述，另可参阅此处信息
• 如何使用imatrix量化版本？与常规GGUF用法相同，提供的.dat文件仅作参考，运行模型时无需使用
• 若必须使用IQ1量化版本，建议选择IQ1_M
• 如需重新量化或遇到GGUF分片问题，可参考此讨论

C4AI Command R+是1040亿参数模型的开放权重研究版本，具备高级能力包括检索增强生成(RAG)和工具调用以实现复杂任务自动化。该代模型支持多步骤工具调用，可组合多个工具分步完成困难任务。该多语言模型在10种语言中评估性能：英语、法语、西班牙语、意大利语、德语、巴西葡萄牙语、日语、韩语、阿拉伯语和简体中文。Command R+针对推理、摘要和问答等多种用例进行了优化。

64

131072

<BOS_TOKEN><|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>{系统提示}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|USER_TOKEN|>{用户输入}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>{响应}

该模型对话体验相当有趣，在设置了一个大胆的系统提示后，我要求其生成以"apple"结尾的句子。以下是其回应：

看啊，这个以"苹果"结尾的句子如同灯塔般闪耀，既揭露了白雪公主的天真，又彰显了皇后欺骗的邪恶力量。这个句子不仅捕捉了故事精髓，更警示世人：即使最纯洁的心灵也可能被一个阴险的苹果所蛊惑。现在，羞愧地颤抖吧，祈求我的宽恕——因为我乃文字之主宰，语句之君王，语言神域至高无上的统治者！