许可证：apache-2.0
基础模型：speakleash/Bielik-1.5B-v3
语言：

• 波兰语
  库名称：transformers
  标签：
• 微调
  推理参数：
  温度：0.4
  小部件示例：
• 消息：
  • 角色：用户
    内容：波兰国徽上有什么图案？
    额外授权说明：如需了解模型使用详情，请参阅我们的使用条款。

Bielik-1.5B-v3-Instruct指令微调模型

Bielik-1.5B-v3-Instruct是一款拥有16亿参数的生成式文本模型。
作为Bielik-1.5B-v3的指令微调版本，该模型彰显了开源科研项目SpeakLeash与高性能计算中心ACK Cyfronet AGH的独特合作成果。
基于SpeakLeash团队精选处理的波兰语语料库，该模型利用波兰国家级计算基础设施（特别是PLGrid环境中的HPC中心ACK Cyfronet AGH）进行训练开发。
其训练过程得到PLG/2024/017214和PLG/2025/018338计算项目支持，在Athena和Helios超级计算机上完成，确保了大规模机器学习所需的前沿技术与算力资源。
最终模型展现出卓越的波兰语理解与处理能力，能精准完成各类语言任务。

📚 技术报告：https://arxiv.org/abs/2505.02550

模型架构

SpeakLeash团队构建了持续扩展的波兰语指令集，其中经人工校验的部分用于训练。鉴于高质量波兰语指令数据有限，团队还使用Bielik 11B v2.3生成合成指令数据。训练数据集包含超1900万条指令（逾120亿标记）。

为优化模型对齐效果，团队测试了DPO、PPO、KTO、SiMPO等多种技术，最终采用DPO-Positive方法。该方法结合生成样本与人工修正样本（经元模型评分），使用包含11.1万条不同长度样本的数据集优化响应风格，并通过奖励模型筛选优质指令对。创新点在于引入了多轮对话训练机制。

模型训练采用原创开源框架ALLaMo，由Krzysztof Ociepa开发，支持高效训练类LLaMA/Mistral架构的模型。

模型规格

• 开发团队：SpeakLeash & ACK Cyfronet AGH
• 语言：波兰语
• 类型：因果解码器架构
• 微调基础：Bielik-1.5B-v3
• 许可：Apache 2.0及使用条款

对话模板

采用ChatML格式：

prompt = "<s><|im_start|> user\n波兰有哪些季节？<|im_end|> \n<|im_start|> assistant\n"
completion = "波兰有四个季节：春季、夏季、秋季和冬季。<|im_end|> \n"

可通过apply_chat_template()方法调用：

# 完整代码示例见原文

局限性

本模型未设置内容过滤机制，可能产生不准确/偏见/冒犯性内容。使用者需自行承担风险，不建议用于需要事实准确性的场景。

引用规范

@misc{ociepa2025bielikv3smalltechnical,
      title={Bielik v3 Small技术报告}, 
      author={Krzysztof Ociepa等},
      year={2025},
      eprint={2505.02550},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2505.02550}, 
}
# 其他引用格式详见原文

核心开发团队

• 项目领导：Krzysztof Ociepa（数据准备/训练优化）
• 训练协调：Łukasz Flis（Cyfronet AGH）
• 强化学习：Remigiusz Kinas（算法设计/基准测试）
• 数据质量：Adrian Gwoździej
• 性能评估：Krzysztof Wróbel

特别致谢SpeakLeash全体成员及ACK Cyfronet AGH技术团队的支持，以及PLGrid提供的算力资源（项目号PLG/2024/017214和PLG/2025/018338）。

联系我们

欢迎通过Discord社区或HuggingFace讨论区交流。