许可证：apache-2.0
基础模型：Rijgersberg/GEITje-7B
标签：

• generated_from_trainer
• GEITje
• conversational
  模型索引：
• 名称：GEITje-7B-chat
  结果：[]
  数据集：
• Rijgersberg/no_robots_nl
• Rijgersberg/ultrachat_10k_nl
  语言：
• nl
  管道标签：text-generation

GEITje-7B-chat

[!警告]
⚠️ 应Stichting BREIN的紧急要求，GEITje模型即日起停止提供。⚠️

所有模型文件（权重）及检查点已从本仓库删除。
详情请参阅我的博客文章（荷兰语、英语）。

🐐 请访问 GEITje-7b-chat-v2 🐐

GEITje-7B

GEITje是基于Mistral 7B的大型开源荷兰语模型，拥有70亿参数。
通过额外训练100亿荷兰语文本标记，其荷兰语能力与本土知识显著提升。

模型描述

Mistral——基础模型

GEITje以Mistral 7B为基底。
这款由Mistral AI训练的70亿参数大模型，
在官方测试中全面超越Llama 2 13B的英语表现。
采用Apache 2.0开源协议发布。

GEITje——荷兰语专项训练

通过Dutch Gigacorpus和MADLAD-400语料库的100亿荷兰语标记训练，
完成全参数微调（非PEFT/LoRA）。
继承Mistral的8,192标记上下文长度。

GEITje-chat——对话优化版

为展示对话潜力，推出GEITje-chat和GEITje-chat-v2两个变体。
可执行指令、解答问题并进行多主题对话。

更多信息

详见GitHub上的📄 说明文档。

检查点

中间检查点存放于checkpoints分支。

训练流程

超参数配置

• 学习率：1e-05
• 训练批大小：2
• 评估批大小：8
• 随机种子：42
• 梯度累积步数：8
• 总训练批大小：16
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器：余弦退火
• 预热比例：0.1
• 训练轮次：3

训练结果

框架版本

• Transformers 4.36.0.dev0
• Pytorch 2.1.1+cu121
• Datasets 2.15.0
• Tokenizers 0.15.0