标签:

• 量化
• 2比特
• 3比特
• 4比特
• 5比特
• 6比特
• 8比特
• GGUF
• 文本生成
• 文本生成 模型名称: Phi-3.5-mini-instruct-GGUF 基础模型: microsoft/Phi-3.5-mini-instruct 推理: 不支持 模型创建者: 微软 管道标签: 文本生成 量化者: MaziyarPanahi

MaziyarPanahi/Phi-3.5-mini-instruct-GGUF

• 模型创建者: 微软
• 原始模型: microsoft/Phi-3.5-mini-instruct

模型描述

MaziyarPanahi/Phi-3.5-mini-instruct-GGUF包含microsoft/Phi-3.5-mini-instruct的GGUF格式模型文件。

关于GGUF

GGUF是由llama.cpp团队于2023年8月21日推出的新格式。它取代了不再受llama.cpp支持的GGML格式。

以下是已知支持GGUF的客户端和库的不完全列表：

• llama.cpp。GGUF的源项目。提供CLI和服务端选项。
• llama-cpp-python，支持GPU加速的Python库，具有LangChain支持和OpenAI兼容的API服务器。
• LM Studio，适用于Windows和macOS（Silicon芯片）的易用且功能强大的本地GUI，支持GPU加速。Linux版本已于2023年11月27日进入测试阶段。
• text-generation-webui，最广泛使用的网页界面，具有众多功能和强大扩展。支持GPU加速。
• KoboldCpp，全功能网页界面，支持跨平台和GPU架构的加速。特别适合故事生成。
• GPT4All，免费开源的本地运行GUI，支持Windows、Linux和macOS的完整GPU加速。
• LoLLMS Web UI，功能丰富的网页界面，包含许多独特功能，包括完整的模型库便于模型选择。
• Faraday.dev，界面美观且易用的角色聊天GUI，支持Windows和macOS（包括Silicon和Intel芯片），具备GPU加速。
• candle，专注于性能的Rust机器学习框架，包括GPU支持和易用性。
• ctransformers，支持GPU加速的Python库，具有LangChain支持和OpenAI兼容的AI服务器。请注意，截至撰写时（2023年11月27日），ctransformers已长时间未更新，不支持许多新近模型。

特别致谢

特别感谢Georgi Gerganov以及整个llama.cpp团队，正是他们的努力让这一切成为可能。