许可证：apache-2.0
基础模型：mistralai/Mistral-7B-v0.1
标签：

• generated_from_trainer
• GEITje
  数据集：
• Rijgersberg/GEITje-pretrain-10b
  模型索引：
• 名称：GEITje-v1-7B
  结果：[]
  语言：
• nl

GEITje-7B

[!警告]
⚠️ 应Stichting BREIN的紧急要求，GEITje模型即刻起停止公开提供。⚠️

所有模型文件（权重）及检查点已从本仓库删除。
详情请参阅我的博客文章（荷兰语、英语）。

GEITje是基于Mistral 7B的大规模开源荷兰语模型，拥有70亿参数。
该模型通过100亿荷兰语文本标记的增量训练，显著提升了荷兰语理解能力及本土知识覆盖。

模型描述

Mistral——基础架构

GEITje以Mistral 7B为基底，这是由Mistral AI训练的70亿参数开源模型。据官方测试，其性能全面超越Llama 2 13B（英语基准）。Mistral 7B采用Apache 2.0开源协议发布。

GEITje——荷兰语专项优化

通过对Dutch Gigacorpus和MADLAD-400语料库中100亿荷兰语标记的全参数微调（非PEFT/LoRA），GEITje实现了：

• 8192标记的上下文长度
• 深度适配荷兰语言特征
• 本土知识增强

延伸信息

GitHub📄 README提供完整技术文档。

检查点

阶段性训练存档位于checkpoints分支。

训练参数

超参数配置

• 学习率：2e-05
• 训练批大小：2（单卡）→ 128（8卡梯度累积）
• 评估批大小：2→16
• 优化器：Adam（β1=0.9, β2=0.999, ε=1e-08）
• 调度器：余弦退火（预热步数953）
• 训练步数：9536
• 随机种子：42

训练指标

框架版本

• Transformers 4.36.0.dev0
• PyTorch 2.1.1+cu121
• Datasets 2.15.0
• Tokenizers 0.15.0