许可协议：apache-2.0
基础模型：speakleash/Bielik-4.5B-v3
语言：

• 波兰语
  库名称：transformers
  标签：
• 微调
  推理参数：
  温度：0.4
  示例对话：
• 用户提问：波兰国徽上有什么图案？
  额外说明：如需了解模型使用详情，请参阅我们的使用条款

Bielik-4.5B-v3指令微调版

Bielik-4.5B-v3-Instruct是一款拥有46亿参数的生成式文本模型，是基于Bielik-4.5B-v3进行指令微调的版本。该模型是开源科研项目SpeakLeash与高性能计算中心ACK Cyfronet AGH独特合作的成果，基于SpeakLeash团队精选处理的波兰语语料库，利用波兰PLGrid计算基础设施（特别是Athena和Helios超级计算机）训练完成，计算资源由PLG/2024/017214和PLG/2025/018338号计算项目支持。模型展现出卓越的波兰语理解和处理能力。

📚 技术报告：https://arxiv.org/abs/2505.02550

模型详情

SpeakLeash团队开发了波兰语指令集，通过人工验证后用于训练。由于高质量波兰语指令有限，额外使用Bielik 11B v2.3生成合成指令。训练数据集包含1900万条指令（120亿token）。采用DPO-Positive方法对齐用户偏好，使用11.1万条经奖励模型筛选的示例，创新性引入多轮对话训练。

模型使用原创开源框架ALLaMo训练，该框架由Krzysztof Ociepa开发，支持高效训练类LLaMA/Mistral架构。

模型规格：

• 开发团队：SpeakLeash & ACK Cyfronet AGH
• 语言：波兰语
• 类型：因果解码器
• 微调基础：Bielik-4.5B-v3
• 许可：Apache 2.0及使用条款

对话模板

采用ChatML格式，示例代码演示了如何使用apply_chat_template()方法构建多轮对话。

局限性

本模型未设置内容过滤机制，可能产生不准确/偏见/冒犯性内容。使用者应自行承担风险，不建议用于需要事实准确性的场景。

引用格式

请按指定格式引用本模型，技术报告见arXiv:2505.02550。

核心开发团队

• Krzysztof Ociepa（项目领导）
• Łukasz Flis（训练监督）
• Remigiusz Kinas（强化学习）
• Adrian Gwoździej（数据质量）
• Krzysztof Wróbel（基准测试）

完整贡献者名单包含SpeakLeash团队12名成员及Cyfronet AGH的3名技术支持专家。特别鸣谢PLGrid提供PLG/2024/017214和PLG/2025/018338号计算资源。

联系我们

欢迎通过Discord社区或HuggingFace讨论区交流。