语言:

• 波兰语

许可证: Apache-2.0 库名称: transformers 标签:

• 微调模型
• GGUF格式 推理: 不支持 管道标签: 文本生成 基础模型: speakleash/Bielik-11B-v2.3-Instruct

Bielik-11B-v2.3-Instruct-GGUF

本仓库包含SpeakLeash的Bielik-11B-v.2.3-Instruct模型的GGUF格式文件。

免责声明：请注意量化模型会降低响应质量并可能出现幻觉！

可用量化格式:

• q4_k_m: 对半数attention.wv和feed_forward.w2张量使用Q6_K，其余使用Q4_K
• q5_k_m: 对半数attention.wv和feed_forward.w2张量使用Q6_K，其余使用Q5_K
• q6_k: 对所有张量使用Q8_K
• q8_0: 几乎与float16无异。高资源消耗且速度慢。不建议大多数用户使用。

Ollama模版文件

GGUF文件可与Ollama配合使用。需通过Modfile中定义的配置导入模型。例如对于Bielik-11B-v2.3-Instruct.Q4_K_M.gguf（模型完整路径），Modfile内容如下：

FROM ./Bielik-11B-v2.3-Instruct.Q4_K_M.gguf

TEMPLATE """<s>{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""

PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"

# 实验性模型建议设置较低温度值(1-3bits)
PARAMETER temperature 0.1

模型说明:

• 开发机构: SpeakLeash与ACK Cyfronet AGH
• 语言: 波兰语
• 模型类型: 因果解码器架构
• 量化来源: Bielik-11B-v2.3-Instruct
• 微调基础: Bielik-11B-v2
• 许可证: Apache 2.0及使用条款

GGUF格式说明

GGUF是由llama.cpp团队于2023年8月21日推出的新格式。

以下是已知支持GGUF的客户端和库的不完全列表：

• llama.cpp - GGUF的源项目，提供CLI和服务端选项
• text-generation-webui - 最流行的Web UI，支持GPU加速
• KoboldCpp - 全功能Web UI，跨平台GPU加速
• GPT4All - 跨平台本地运行GUI
• LM Studio - 易用的本地GUI
• LoLLMS Web UI - 特色Web UI
• Faraday.dev - 角色聊天GUI
• llama-cpp-python - Python库
• candle - Rust ML框架
• ctransformers - Python库（注：已长期未更新）

模型量化负责人

• Remigiusz Kinas^SpeakLeash - 团队领导、方案设计、校准数据准备、流程创建及量化模型交付

联系我们

如有疑问或建议，请使用讨论标签页。如需直接联系，请加入SpeakLeash Discord。