语言:

• 波兰语 许可证: CC-BY-NC-4.0 库名称: transformers 标签:
• 微调
• GGUF 推理: 不支持 管道标签: 文本生成

Bielik-7B-Instruct-v0.1-GGUF

本仓库包含SpeakLeash的Bielik-7B-Instruct-v0.1模型的GGUF格式文件。

免责声明：请注意量化模型会降低响应质量并可能出现幻觉！

简易测试Colab笔记本：https://colab.research.google.com/drive/1Al9glPVCuOXbtDsks8cMcuzkuu8YDzpg?usp=sharing

模型描述：

• 开发团队: SpeakLeash
• 语言: 波兰语
• 模型类型: 因果解码器专用
• 量化来源: Bielik-7B-Instruct-v0.1
• 微调基础: Bielik-7B-v0.1
• 许可证: CC BY NC 4.0 (非商业用途)
• 模型参考: speakleash:e38140bea0d48f1218540800bbc67e89

关于GGUF

GGUF是由llama.cpp团队于2023年8月21日推出的新格式。

以下是已知支持GGUF的客户端和库的不完整列表：

• llama.cpp - GGUF的源项目。提供CLI和服务器选项。
• text-generation-webui - 最广泛使用的Web UI，具有丰富功能和强大扩展。支持GPU加速。
• KoboldCpp - 全功能Web UI，跨平台和GPU架构支持加速。特别适合故事创作。
• GPT4All - 免费开源的本地运行GUI，支持Windows、Linux和macOS，具备完整GPU加速。
• LM Studio - 简单易用且功能强大的本地GUI，支持Windows、macOS（Silicon）和Linux，带GPU加速。
• LoLLMS Web UI - 出色的Web UI，具有许多独特功能，包括完整的模型库便于选择。
• Faraday.dev - 美观易用的角色聊天GUI，支持Windows和macOS（Silicon和Intel），带GPU加速。
• llama-cpp-python - 支持GPU加速的Python库，兼容LangChain和OpenAI API服务器。
• candle - 注重性能的Rust ML框架，包括GPU支持和易用性。
• ctransformers - 支持GPU加速的Python库，兼容LangChain和OpenAI AI服务器。注意ctransformers已长期未更新，不支持许多新模型。

联系我们

如有任何问题或建议，请使用讨论标签。如需直接联系我们，请加入SpeakLeash Discord。