🚀 mistral-1L-tiny

这是一个微小的单层Mistral模型，拥有3510万个参数。它可用于分析现实世界语言模型中的特征动态和涌现现象。

🚀 快速开始

本模型基于roneneldan/TinyStories数据集进行训练，在评估集上取得了以下结果：

• 损失值：1.6868
• 准确率：0.5792

✨ 主要特性

• 微小的单层架构，具有3510万个参数。
• 隐藏层大小为512，MLP中间层大小为1024。
• 能够生成相当连贯的英文文本。

📚 详细文档

模型描述

本工作受到了Tiny Stories论文中具有2100万个参数的单层GPT - Neo的启发。为了获取高频检查点以进行进一步分析，对相关结果进行了复现。

预期用途与局限性

用于分析现实世界语言模型中的特征动态和涌现现象。

训练过程

在单个H100上训练了90171步，约耗时2小时。

训练超参数

训练过程中使用了以下超参数：

• 学习率：0.0006
• 训练批次大小：64
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam，β值为(0.9, 0.999)，ε值为1e - 08
• 学习率调度器类型：余弦
• 训练轮数：3.0

训练结果

能够生成相当连贯的英文文本。

框架版本

• Transformers 4.38.1
• Pytorch 2.2.0+cu121
• Datasets 2.17.1
• Tokenizers 0.15.2

📄 许可证

文档中未提及许可证相关信息。