语言:

• 波兰语 许可证: Apache-2.0 库名称: transformers 标签:
• 微调
• GGUF 推理: 不支持 管道标签: 文本生成 基础模型: speakleash/Bielik-4.5B-v3.0-Instruct

Bielik-4.5B-v3.0-Instruct-GGUF

本仓库包含SpeakLeash的Bielik-4.5B-v.3.0-Instruct模型的GGUF格式文件。

📄 技术报告: https://arxiv.org/abs/2505.02550

免责声明：请注意，量化模型会降低响应质量并可能出现幻觉！

可用的量化格式:

• q8_0: 几乎与float16无差别。资源消耗高且速度慢。不建议大多数用户使用。
• fp16: 将Bielik-4.5B-v3.0-Instruct转换为fp16 GGUF格式

Ollama Modfile

GGUF文件可与Ollama一起使用。为此，您需要使用Modfile中定义的配置导入模型。例如，对于模型Bielik-4.5B-v3.0-Instruct.Q4_K_M.gguf（模型位置的完整路径），Modfile如下：

FROM ./Bielik-4.5B-v3.0-Instruct.Q4_K_M.gguf

TEMPLATE """<s>{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""

PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"

# 对于实验性模型（1-3位），请记住设置较低的温度
PARAMETER temperature 0.1

模型描述:

• 开发团队: SpeakLeash 与 ACK Cyfronet AGH
• 语言: 波兰语
• 模型类型: 因果解码器专用
• 量化来源: Bielik-4.5B-v3.0-Instruct
• 微调来源: Bielik-4.5B-v2
• 许可证: Apache 2.0 及 使用条款

关于GGUF

GGUF是由llama.cpp团队于2023年8月21日引入的新格式。

以下是不完全支持GGUF的客户端和库列表：

• llama.cpp。GGUF的源项目。提供CLI和服务器选项。
• text-generation-webui，最广泛使用的Web UI，具有许多功能和强大的扩展。支持GPU加速。
• KoboldCpp，功能全面的Web UI，支持所有平台和GPU架构的加速。特别适合故事讲述。
• GPT4All，免费开源的本地运行GUI，支持Windows、Linux和macOS，具有完整的GPU加速。
• LM Studio，易于使用且功能强大的本地GUI，支持Windows、macOS（Silicon）和Linux，具有GPU加速。
• LoLLMS Web UI，出色的Web UI，具有许多有趣且独特的功能，包括完整的模型库以便轻松选择模型。
• Faraday.dev，吸引人且易于使用的基于角色的聊天GUI，支持Windows和macOS（Silicon和Intel），具有GPU加速。
• llama-cpp-python，具有GPU加速的Python库，支持LangChain和OpenAI兼容的API服务器。
• candle，专注于性能的Rust ML框架，包括GPU支持和易用性。
• ctransformers，具有GPU加速的Python库，支持LangChain和OpenAI兼容的AI服务器。注意ctransformers已长时间未更新，不支持许多新模型。

负责模型量化的人员

• Remigiusz Kinas^SpeakLeash - 团队领导、概念化、校准数据准备、流程创建和量化模型交付。

联系我们

如有任何问题或建议，请使用讨论标签。如需直接联系我们，请加入我们的Discord SpeakLeash。