语言:

• 波兰语 许可证: Apache-2.0 库名称: transformers 标签:
• 微调
• GGUF 推理: 不支持 管道标签: 文本生成 基础模型: speakleash/Bielik-1.5B-v3.0-Instruct

Bielik-1.5B-v3.0-Instruct-GGUF

本仓库包含SpeakLeash的Bielik-1.5B-v.3.0-Instruct模型的GGUF格式文件。

📄 技术报告: https://arxiv.org/abs/2505.02550

免责声明：请注意，量化模型可能会降低响应质量并产生幻觉！

可用的量化格式:

• q8_0: 几乎与float16无异。资源消耗高且速度慢。不建议大多数用户使用。
• fp16: 将Bielik-1.5B-v3.0-Instruct转换为fp16 GGUF格式

Ollama Modfile

GGUF文件可与Ollama一起使用。为此，您需要使用Modfile中定义的配置导入模型。例如，对于模型Bielik-1.5B-v3.0-Instruct.Q4_K_M.gguf（模型位置的完整路径），Modfile如下所示：

FROM ./Bielik-1.5B-v3.0-Instruct.Q4_K_M.gguf

TEMPLATE """<s>{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""

PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"

# 对于实验性模型（1-3位），请设置较低的温度
PARAMETER temperature 0.1

模型描述:

• 开发者: SpeakLeash 和 ACK Cyfronet AGH
• 语言: 波兰语
• 模型类型: 因果解码器专用
• 量化来源: Bielik-1.5B-v3.0-Instruct
• 微调来源: Bielik-1.5B-v2
• 许可证: Apache 2.0 和 使用条款

关于GGUF

GGUF是由llama.cpp团队于2023年8月21日引入的新格式。

以下是不完全支持GGUF的客户端和库列表：

• llama.cpp。GGUF的源项目。提供CLI和服务器选项。
• text-generation-webui，最广泛使用的Web UI，具有许多功能和强大的扩展。支持GPU加速。
• KoboldCpp，功能齐全的Web UI，支持所有平台和GPU架构的加速。特别适合故事讲述。
• GPT4All，免费开源的本地运行GUI，支持Windows、Linux和macOS，具有完整的GPU加速。
• LM Studio，易于使用且功能强大的本地GUI，支持Windows、macOS（Silicon）和Linux，具有GPU加速。
• LoLLMS Web UI，一个优秀的Web UI，具有许多有趣且独特的功能，包括完整的模型库以便轻松选择模型。
• Faraday.dev，一个吸引人且易于使用的基于角色的聊天GUI，支持Windows和macOS（Silicon和Intel），具有GPU加速。
• llama-cpp-python，一个具有GPU加速、LangChain支持和OpenAI兼容API服务器的Python库。
• candle，一个专注于性能的Rust ML框架，包括GPU支持和易用性。
• ctransformers，一个具有GPU加速、LangChain支持和OpenAI兼容AI服务器的Python库。注意ctransformers已长时间未更新，不支持许多新模型。

负责模型量化的人员

• Remigiusz Kinas^SpeakLeash - 团队领导、概念化、校准数据准备、流程创建和量化模型交付。

联系我们

如果您有任何问题或建议，请使用讨论标签。如果您想直接联系我们，请加入我们的Discord SpeakLeash。