许可协议：apache-2.0 数据集：

• cerebras/SlimPajama-627B
• bigcode/starcoderdata
• mc4 语言：
• 芬兰语
• 英语
• 丹麦语
• 瑞典语
• 挪威语
• 新挪威语
• 冰岛语

维京13B大模型

维京13B是一个拥有130亿参数、仅含解码器的Transformer预训练模型，支持芬兰语、英语、瑞典语、丹麦语、挪威语、冰岛语及编程语言。当前已完成1.3万亿token训练（总计划2万亿）。本模型采用Apache 2.0开源协议全面开放。

该项目由图尔库大学TurkuNLP小组、Silo AI旗下SiloGen与高性能语言技术组织（HPLT）联合开发，训练在LUMI超级计算机上完成，由芬兰CSC科学信息技术中心慷慨提供算力支持。

本模型是持续推动非英语（尤其是芬兰语等低资源语言）开源大模型发展的重要成果，能流畅处理芬兰语、英语及斯堪的纳维亚诸语言，支持基础互译功能，同时具备代码理解与生成能力。

模型系列

维京是LumiOpen发布的第二代多参数量模型，提供三个版本： 维京7B
维京13B
维京33B

模型架构

注意：此为基座模型，实际应用需进一步微调

采用类LLaMA的GPT架构，集成旋转位置编码与闪电注意力机制：

训练详情

在LUMI超算上使用512块AMD MI250X GPU训练（每卡含2个图形计算核心GCD），采用3D并行策略（TP=2/PP=4/DP=128），全局批大小1024，配合梯度累积（16步）和激活检查点技术。训练始于2023年9月，基于定制版Megatron-Deepspeed框架。

训练超参数

分词器

采用定制128K词表Bloom分词器，训练数据与模型相同（涵盖英语、芬兰语、北欧诸语及代码）。

训练数据

混合2万亿token的多语言数据集（含英语、芬兰语、北欧诸语及代码），具体构成将后续公布。

评估结果

完整评估报告将与最终模型同步发布。

训练检查点

按每1000亿token发布分支检查点，主分支始终指向最新版本。现有检查点： 100B至2000B（间隔100B）

可通过transformers库加载指定检查点：

branch = "1700B"
model = transformers.AutoModelForCausalLM.from_pretrained(
    "LumiOpen/Viking-13B",
    torch_dtype=torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float16,
    revision=branch,
)

伦理声明与限制

维京13B为阶段性训练成果，使用时需特别审慎输出内容

本模型主要优化英语、芬兰语、北欧诸语及代码处理能力，其他语言表现有限。作为数据驱动的AI系统，其输出可能反映训练数据中的偏见或缺陷，存在生成不准确/偏见/争议内容的可能性。使用者应结合自身需求进行额外评估与定制，确保符合应用场景与伦理标准。

许可

采用Apache 2.0开源协议发布。