许可证：apache-2.0
基础模型：Rijgersberg/GEITje-7B
标签：

• generated_from_trainer
• GEITje
• conversational
  模型索引：
• 名称：GEITje-7B-chat-v2
  结果：[]
  数据集：
• Rijgersberg/no_robots_nl
• Rijgersberg/ultrachat_10k_nl
• BramVanroy/dutch_chat_datasets
  语言：
• nl
  管道标签：text-generation

GEITje-7B-chat-v2

[!警告]
⚠️ 应Stichting BREIN的紧急要求，GEITje模型即日起停止提供。⚠️

所有模型文件（权重）及检查点已从本仓库删除。
详情请参阅我的博客文章（荷兰语、英语）。

🤖️ 前往🤗 Hugging Face Spaces体验聊天模型！

GEITje-7B

GEITje是基于Mistral 7B的大型开源荷兰语模型，拥有70亿参数。
通过额外训练100亿荷兰语文本标记，其荷兰语能力与本土知识得到显著提升。

模型描述

Mistral——基础模型

GEITje以Mistral 7B为基底。
这个由Mistral AI训练的70亿参数大模型，
在Mistral AI的测试中全面超越Llama 2 13B的英语基准表现。
Mistral 7B采用Apache 2.0开源协议发布。

GEITje——荷兰语专项训练

通过继续训练Dutch Gigacorpus和MADLAD-400网络爬取语料中的100亿荷兰语标记，
GEITje实现了全参数微调（非PEFT/LoRA）。
与Mistral相同，GEITje支持8,192标记的上下文长度。

GEITje-chat——对话优化版本

为展示对话潜力，我们微调出GEITje-chat和GEITje-chat-v2两个变体。
它们能遵循指令、解答问题并进行多主题对话。

更多信息

详见GitHub上的📄 说明文档。

检查点

中间检查点存放于checkpoints分支。

训练流程

超参数配置

• 学习率：5e-06
• 训练批大小：2
• 评估批大小：8
• 随机种子：42
• 梯度累积步数：8
• 总训练批大小：16
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器：余弦退火（预热比例0.1）
• 训练轮次：1

训练结果

框架版本

• Transformers 4.36.0.dev0
• PyTorch 2.1.1+cu121
• Datasets 2.15.0
• Tokenizers 0.15.0