许可证：apache-2.0
基础模型：

• speakleash/Bielik-11B-v2
• speakleash/Bielik-11B-v2.0-Instruct
• speakleash/Bielik-11B-v2.1-Instruct
• speakleash/Bielik-11B-v2.2-Instruct
  语言：
• 波兰语（pl）
  库名称：transformers
  标签：
• 合并
• mergekit
  推理参数：
  温度：0.2
  小部件示例：
• 消息：
  • 角色：用户
    内容：波兰国徽上有什么图案？
    额外授权说明：如需了解模型使用详情，请参阅我们的使用条款。

Bielik-11B-v2.3-Instruct

Bielik-11B-v2.3-Instruct 是一款拥有110亿参数的生成式文本模型。
该模型是对Bielik-11B-v2.0-Instruct、Bielik-11B-v2.1-Instruct和Bielik-11B-v2.2-Instruct三个模型的线性合并，这三个模型均为Bielik-11B-v2的指令微调版本。
该模型是开源科研项目SpeakLeash与高性能计算中心ACK Cyfronet AGH独特合作的成果。基于SpeakLeash团队精选处理的波兰语语料库，利用波兰PLGrid超级计算环境（特别是Athena和Helios超级计算机）完成训练，计算资源由PLG/2024/016951号项目支持。
模型展现出卓越的波兰语理解与处理能力，能精准完成各类语言任务。

📄 技术报告：https://arxiv.org/abs/2505.02410
🤖💬 聊天竞技场*：https://arena.speakleash.org.pl/
*聊天竞技场是用于测试比较AI语言模型的平台

模型说明

SpeakLeash团队构建了波兰语指令集，并通过以下创新方法优化训练：

• 加权令牌级损失（受离线强化学习和C-RLFT启发）
• 自适应学习率（基于批量大小与学习率关系研究）
• 掩码提示令牌技术

采用DPO-Positive对齐方法，使用66,000+经元模型评分的多轮对话样本。模型通过原创框架ALLaMo训练，由Remigiusz Kinas使用mergekit完成浮点16精度的三模型合并。

核心参数

• 开发团队：SpeakLeash & ACK Cyfronet AGH
• 语言：波兰语
• 模型类型：因果解码器架构
• 合并来源：v2.0/v2.1/v2.2指令版本
• 许可证：Apache 2.0及使用条款

量化版本

为满足不同需求，我们提供多种量化模型：

• GGUF量化版（Q4_K_M至Q8_0）
• GPTQ 4bit版
• FP8优化版（适配vLLM/SGLang框架）
• 实验性GGUF-IQ版
  （注：量化模型可能降低生成质量）

对话模板

采用ChatML格式，示例：

messages = [
    {"role": "system", "content": "用波兰语简明准确地回答"},
    {"role": "user", "content": "波兰有哪些季节？"}
]
input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt")

性能评估

Open PL LLM Leaderboard（波兰语）

1. 参数量<70B的模型中表现最佳
2. 与70B级模型性能相当
3. 较v0.1版本提升21.2%

Open LLM Leaderboard（英语）

波兰MT-Bench

波兰EQ-Bench（情商测试）

得分70.86，优于多数同级模型

局限性

当前版本未内置内容过滤机制，可能产生不准确/偏见内容。使用者需自行承担风险。

引用格式

@misc{ociepa2025bielik,
  title={Bielik 11B v2技术报告},
  author={Ociepa, Krzysztof 等},
  year={2025},
  eprint={2505.02410}
}

核心开发团队

• Krzysztof Ociepa（SpeakLeash）- 项目统筹
• ≈Åukasz Flis（Cyfronet AGH）- 训练监督
• Remigiusz Kinas - DPO训练架构
• Adrian Gwo≈∫dziej - 数据质量管理
• Krzysztof Wr√≥bel - 基准测试

完整贡献者名单详见原文，特别感谢ACK Cyfronet AGH团队的技术支持。

联系我们

欢迎通过Discord社区交流讨论。