许可证：Apache-2.0
语言：

• 波兰语
  库名称：transformers
  标签：
• 波兰语
• 自然语言处理

Curie-7B-v1

简介

本研究展示了通过微调英语大语言模型（LLMs）用于波兰语文本生成的潜力。通过在3.11 GB高质量波兰语数据集（2.76亿波兰语标记）上进行语言自适应预训练（LAPT），并在KLEJ挑战赛上进一步微调，Curie-7B-v1模型取得了显著性能。它不仅以3.02的困惑度成为解码器模型中生成波兰语文本的最佳模型，还在9项任务中的8项上与最佳波兰语编码器-解码器模型表现接近，性能差距极小。这一成果仅使用了通常所需数据量的2-3%，展现了方法的高效性。该模型现已开源，为社区协作进步贡献力量。

语言自适应预训练数据集

LAPT阶段使用了SpeakLeash数据集，这是一个全面的波兰语文本集合，重点选取了原始1TB数据中约2GB的最高质量部分。

硬件与软件栈

实验在一台配备英伟达RTX A6000 ADA GPU（48GB显存）、AMD Epyc 7742处理器的服务器上进行，运行Ubuntu系统，使用Pytorch 2.0和CUDA 12.2。

自适应预训练

模型采用AdamW优化器训练，通过特定超参数优化性能。训练在一个周期内完成，耗时106小时，此后出现过拟合迹象。

超参数

• lora_rank: 32
• lora_dropout: 0.05
• lora_alpha: 16
• warmup_steps: 0.1
• 学习率: 2.5 × 10^-5
• neftune_noise_alpha: 2
• 批大小: 128
• 最大序列长度: 128

KLEJ下游任务微调

Curie-7B-v1在9项KLEJ任务中的8项上表现接近最佳基线模型，同时使用数据量显著减少，展现了其在处理多种波兰语NLP任务中的高效性和能力。

性能亮点

• NKJP-NER: 93.4
• CDSC-E: 92.2
• CDSC-R: 94.9
• CBD: 49.0（显示改进空间）
• PolEmo2.0-IN: 92.7
• PolEmo2.0-OUT: 80.0
• DYK: 76.2
• PSC: 98.6
• AR: 86.8

结论

通过LAPT，Curie-7B-v1模型以更少的数据在八项下游任务中媲美基础模型。其生成波兰语文本的多样性，以及可转化为分类器、回归器和AI助手的能力，凸显了该方法的有效性。这一开源的波兰语大语言模型为开发高效商业解决方案奠定了基础。

研究论文

关于该模型的工作和细节详见研究论文《高效语言自适应预训练：扩展最先进大语言模型至波兰语》，作者Szymon Ruciński。