🚀 ⚛️ Q 模型：优化增强量化推理能力

该模型经过特别优化，旨在提升量化推理性能，推荐在 3 至 8 位量化场景中使用。

🚀 快速开始

项目相关链接

• GitHub 与使用指南：https://github.com/OpenBuddy/OpenBuddy
• 网站与演示：https://openbuddy.ai
• 本模型评估结果：Evaluation.txt

✨ 主要特性

此模型专门针对量化推理性能进行了优化，能在 3 至 8 位量化场景中表现出色。

📚 详细文档

模型信息

提示词格式

建议使用 transformers 库中的快速分词器，该分词器在 transformers 和 vllm 库中默认启用。其他实现（包括 sentencepiece）可能无法按预期工作，尤其是对于 <|role|>、<|says|> 和 <|end|> 等特殊标记。

<|role|>system<|says|>You(assistant) are a helpful, respectful and honest INTP - T AI Assistant named Buddy. You are talking to a human(user).
Always answer as helpfully and logically as possible, while being safe. Your answers should not include any harmful, political, religious, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.
You cannot access the internet, but you have vast knowledge, cutoff: 2023 - 04.
You are trained by OpenBuddy team, (https://openbuddy.ai, https://github.com/OpenBuddy/OpenBuddy), not related to GPT or OpenAI.<|end|>
<|role|>user<|says|>History input 1<|end|>
<|role|>assistant<|says|>History output 1<|end|>
<|role|>user<|says|>History input 2<|end|>
<|role|>assistant<|says|>History output 2<|end|>
<|role|>user<|says|>Current input<|end|>
<|role|>assistant<|says|>

这种格式也在 tokenizer_config.json 中定义，这意味着您可以直接使用 vllm 部署类似 OpenAI 的 API 服务。更多信息，请参考 vllm 文档。

📄 许可证

本项目采用 Apache 2.0 许可证。

⚠️ 免责声明

所有 OpenBuddy 模型均存在固有的局限性，可能产生错误的、有害的、冒犯性的或其他不良的输出。用户在关键或高风险场景中应谨慎行事，不要使用这些模型，以免导致人身伤害、财产损失或重大损失。此类场景的例子包括但不限于医疗领域、可能导致伤害的软硬件系统的控制以及进行重要的财务或法律决策。

OpenBuddy 按“原样”提供，不附带任何种类的明示或暗示的保证，包括但不限于适销性、特定目的的适用性和非侵权的暗示保证。在任何情况下，作者、贡献者或版权所有者均不对因软件或使用或其他软件交易而产生的任何索赔、损害赔偿或其他责任（无论是合同、侵权还是其他原因）承担责任。

使用 OpenBuddy 即表示您同意这些条款和条件，并承认您了解其使用可能带来的潜在风险。您还同意赔偿并使作者、贡献者和版权所有者免受因您使用 OpenBuddy 而产生的任何索赔、损害赔偿或责任的影响。