license: apache-2.0

Qra 是一个专为波兰语优化的大语言模型系列，由波兰国家信息处理研究所（OPI）与格但斯克理工大学（PG）联合开发。模型训练依托PG TASK计算中心的21张Nvidia A100显卡完成。发布的Qra模型版本以英文LLama 2检查点权重为初始化基础，随后在约900亿token的波兰语精选语料库上继续训练。原始语料主要包含网络数据（如CommonCrawl抓取内容）和MADLAD-400语料库。

⚠️ 重要提示：Qra是基于因果语言建模目标训练的基础语言模型，不适合直接用于对话或指令跟随场景，需经过微调才能适配此类任务。 ⚠️

数据预处理流程包括：

• 文本标准化与URL去除
• 过滤字符数少于500的文档
• 基于启发式规则清洗文档句子（如删除非字母字符为主的句子及非波英双语内容）
• 使用人工标注的质量分类器筛选文档（评估指标包括波兰语词汇比例、词句平均长度、重复度及字符类别分布等）
• 基于KenLM轻量语言模型的困惑度过滤
• 通过训练分类器将文档划分至18个主题域
• 在各主题域内使用MinHash算法进行模糊去重

最终文档主题分布如下图所示：

模型详情

模型在4096 token长度的序列上训练了1个epoch，采用多项现代优化技术：

• torch.compile
• adamw_apex_fused 优化器
• Flash Attention 2
• 混合精度（--bf16与--tf32选项）
• 梯度累积
• 全分片数据并行(FSDP)（SHARD_GRAD_OP模式）
• 梯度检查点（仅13B模型使用）

Qra-1B模型参数概览：

性能评估

本节对比Qra与其他波英语言模型在波兰语文本上的困惑度表现。需注意不同文本分词的困惑度不可直接比较，因此仅限使用相同分词器的模型间对比（如Qra与原始LLama/TinyLLama）。

PolEval-2018基准

使用该竞赛语言建模任务的测试集前1万句评估，困惑度通过HuggingFace Evaluate库计算：

长文档测试（2024年）

为评估模型处理长文本能力，我们构建了5000份2024年新发布的波兰新闻与科学文献（多数超出模型上下文长度），按512 token步长分块计算困惑度：