许可证：apache-2.0
数据集：

• cerebras/SlimPajama-627B
• bigcode/starcoderdata
• mc4
  语言：
• 芬兰语
• 英语
• 丹麦语
• 瑞典语
• 挪威语
• 新挪威语
• 冰岛语

维京7B模型

维京7B是一个拥有70亿参数的仅解码器架构的Transformer模型，预训练数据涵盖芬兰语、英语、瑞典语、丹麦语、挪威语、冰岛语及编程代码。该模型基于2万亿token进行训练，采用Apache 2.0开源协议全面开放。

本模型由图尔库大学TurkuNLP研究组、Silo AI旗下SiloGen与高性能语言技术项目（HPLT）联合开发。训练在LUMI超级计算机上完成，计算资源由芬兰CSC科学信息技术中心慷慨提供。

该项目致力于为非英语（尤其是芬兰语等低资源语言）创建开源大语言模型。该模型能流畅处理芬兰语、英语及斯堪的纳维亚语系语言，具备基础互译能力，同时可理解并生成代码。

模型系列

维京是LumiOpen发布的第二代模型，提供三种参数规模：

• 维京7B
• 维京13B
• 维京33B

模型概览

注意： 维京是基础模型，多数使用场景需要进一步微调。

该模型采用类LLaMA的GPT架构，使用旋转位置编码和闪电注意力机制。

训练过程

维京7B在LUMI超算上使用256块AMD MI250X GPU训练。每块GPU含两个图形计算单元(GCD)，采用激活检查点技术，微批次大小为1，梯度累积16次，三维并行策略为TP=1/PP=4/DP=128。

训练始于2023年9月，使用Megatron-Deepspeed框架定制分支。

训练超参数

分词器

采用定制128K词表Bloom分词器，训练数据与模型相同（含英语、芬兰语、北欧语言及代码）。

数据集

训练数据为2万亿token的混合语料，包含英语、芬兰语、北欧语言及代码。具体细节将后续公布。

评估结果

完整评估报告将随最终模型发布。

训练检查点

检查点以分支形式发布，约每1000亿token更新一次。主分支始终指向最新版本，现有检查点包括：

• 1000亿至20000亿（每1000亿间隔）

可通过transformers库加载指定分支：

branch = "2000B"
model = transformers.AutoModelForCausalLM.from_pretrained(
    "LumiOpen/Viking-7B",
    torch_dtype=torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float16,
    revision=branch,
)

伦理考量与限制

维京7B是部分训练成果的发布，使用时需特别谨慎。

该模型主要优化英语、芬兰语及北欧语言处理，对其他语言能力有限。作为AI系统，其输出可能反映训练数据中的偏见或错误。使用者应审慎评估，确保输出符合伦理标准。

许可证

维京模型采用Apache 2.0许可证发布。