license: apache-2.0 datasets:

• cerebras/SlimPajama-627B
• bigcode/starcoderdata
• mc4 language:
• 芬兰语
• 英语
• 丹麦语
• 瑞典语
• 挪威语
• 新挪威语
• 冰岛语

维京33B大模型

维京33B是一个拥有330亿参数的纯解码器架构Transformer模型，预训练数据涵盖芬兰语、英语、瑞典语、丹麦语、挪威语、冰岛语及编程代码。当前版本已完成1.3万亿token训练（总计划训练2万亿token）。本模型采用Apache 2.0开源协议，完全开放源代码。

该项目由芬兰图尔库大学TurkuNLP团队、Silo AI旗下SiloGen与高性能语言技术项目组（HPLT）联合开发。训练在LUMI超级计算机上完成，计算资源由芬兰CSC科学信息技术中心慷慨提供。

作为持续推动非英语（尤其是芬兰语等低资源语言）开源大模型发展的重要成果，该模型能流畅处理芬兰语、英语及斯堪的纳维亚语系语言，具备基础互译能力，同时拥有代码理解与生成能力。

模型系列

维京是LumiOpen发布的第二代模型系列，包含三个参数规模版本：

维京7B

维京13B

维京33B

模型架构

注意：维京是基础模型，实际应用需进一步微调

采用类LLaMA的GPT架构，集成旋转位置编码与闪电注意力机制。

训练过程

在LUMI超算上使用1024块AMD MI250X GPU（含2048个图形计算单元）完成训练，采用3D并行策略（TP=4/PP=4/DP=128），配合激活检查点技术，设置微批次1样本、梯度累积16步。

训练始于2023年9月，基于定制版Megatron-Deepspeed框架实现。

训练超参数

分词器

采用定制128K词表Bloom分词器，训练数据与模型主体保持一致，覆盖英语、芬兰语、瑞典语、丹麦语、挪威语、冰岛语及代码。

训练数据

使用2万亿token混合数据集，包含上述语言及编程代码。完整数据细节将后续发布。

评估结果

最终模型将附完整评估报告。

训练检查点

检查点按每1000亿token间隔发布，存储于对应分支：

• 1000亿
• 2000亿 ...
• 2万亿

可通过transformers库加载指定检查点：

branch = "200B"
model = transformers.AutoModelForCausalLM.from_pretrained(
    "LumiOpen/Viking-33B",
    torch_dtype=torch.bfloat16,
    revision=branch,
)

伦理声明与局限性

维京33B是未完成训练的中间版本，使用时需特别谨慎输出内容。

作为主要优化北欧语言及代码的模型，其处理其他语言能力有限。与多数AI系统类似，模型输出可能反映训练数据中的偏见或错误。使用者应审慎评估，必要时进行定制化调整以确保符合伦理标准。

许可协议

Apache 2.0开源许可。

引用格式

@misc {lumiopen_2025,
	author       = { 里斯托·卢科宁, 乔纳森·伯奇, 伊莱恩·佐萨, 维勒·科穆莱宁, 彼得·萨尔林, 桑波·皮萨洛 },
	title        = { 维京：北欧大语言模型家族 },
	year         = 2025,
	url          = { https://huggingface.co/LumiOpen/Viking-33B },
	doi          = { 10.57967/hf/4885 },
	publisher    = { Hugging Face }
}