🚀 马格南V4 72B

马格南V4 72B是Anthracite基于Qwen打造的模型系列中的一员，旨在复刻Claude 3系列模型（特别是Sonnet和Opus）的散文质量。本项目提供了该模型的GGUF格式版本，适用于本地AI聊天应用Backyard AI。

🚀 快速开始

你可以点击以下链接下载Backyard AI，开启使用之旅： 点击此处下载Backyard AI

若你需要其他模型，可前往 r/LLM_Quants 进行请求。

✨ 主要特性

模型信息

模型创建信息

• 创建者：anthracite-org
• 原始模型：Magnum V4 72B
• 创建日期：2024-09-20
• 训练上下文长度：32768 tokens

GGUF格式优势

GGUF是一种大语言模型（LLM）格式，支持在CPU和GPU之间分配计算任务。它与基于llama.cpp的应用程序（如Backyard AI）兼容。与其他需要高端GPU和大量显存的模型格式不同，GGUF可以在更广泛的硬件上高效运行。

GGUF模型经过量化处理以减少资源使用，但较低的量化级别可能会降低模型的连贯性。量化通过改变每个权重使用的位数来降低模型权重的精度。

Backyard AI应用特性

• 免费且本地运行：Backyard AI是一款免费的本地AI聊天应用。
• 一键安装：支持在Mac和PC上一键安装。
• 自动GPU加速：自动使用GPU以实现最快速度。
• 内置模型管理器：帮助你轻松找到最新和最优秀的模型，无需担心格式问题。
• 高质量角色中心：提供丰富的角色供你选择。
• 零配置桌面到移动设备连接：方便在不同设备间使用。

此外，Backyard AI还支持诸如背景故事书、作者注释、文本格式设置、自定义上下文大小、采样器设置、语法规则、本地文本转语音、云推理和设备连接等高级功能，且实现方式简单可靠。

💡 使用建议

你可以加入我们的 Discord社区，与其他用户交流使用经验和心得。