🚀 Arsh LLM

Arsh LLM是为助力研究而开发的全新项目。该版本在olmo mix数据集上进行预训练，使用T4 GPU完成训练（受限于各种条件，此过程耗时约4 - 5天，我将其拆分为8个部分，每个部分耗时1 - 2天）。

🚀 快速开始

Arsh LLM是一个全新的研究项目，目前还需要更多的训练，当前版本只是其早期版本之一。

✨ 主要特性

• 旨在证明大型模型不一定需要强大的硬件支持，借助现有工具也能实现高效训练。
• 基于Gpt neox和llama文档，并借助AI进行架构创建，以实现最佳优化。
• 利用phi - 4计算初始权重，在PILE数据集的部分数据上进行训练，使模型更稳定。
• 在olmo - mix - 1124数据集上训练arshGpt模型，便于将数据更轻松地转换到新的大型模型中。
• 合并模型在一些小型对话开源数据集上进行微调，性能有所提升。

📚 详细文档

模型详情

Arsh LLM是最新的研究项目，目前仍需更多训练，此为早期版本之一。目标是证明大型模型无需强大硬件，借助现有工具也能实现高效训练。 首先，参考Gpt neox和llama文档，并利用AI创建架构以实现最佳优化（不确定是否已达最佳）。 接着，创建模型并使用phi - 4计算初始权重，在PILE数据集的部分数据上训练，使模型稳定可用。 然后，在olmo - mix - 1124数据集上训练名为arshGpt的模型，便于将数据更轻松地转换到新的大型模型中。 最后，合并模型在一些小型对话开源数据集上进行微调，推测性能有所提升。

数据集

📄 许可证

本模型采用MIT许可证，这是一种能让人感受到自由的优秀许可证😅。