🚀 Fox-1-1.6B 模型

Fox-1-1.6B 是由 TensorOpera AI 开发的基于解码器的小型语言模型（SLM），总参数为 16 亿。该模型使用 3 阶段数据课程在 3 万亿文本和代码数据上进行训练，序列长度达 8K。它采用了分组查询注意力机制（GQA），有 4 个键值头和 16 个注意力头，以实现更快的推理。

🚀 快速开始

⚠️ 重要提示

此模型是一个基础预训练模型，对于大多数用例，需要进一步微调。为了获得更具交互性的体验，我们推荐使用 tensoropera/Fox-1-1.6B-Instruct-v0.1，这是 Fox-1 的指令调优版本。

如需了解该模型的完整细节，请阅读 Fox-1 技术报告 和 发布博客文章。

✨ 主要特性

• 参数规模：总参数 16 亿，属于小型语言模型。
• 训练数据：使用 3 阶段数据课程在 3 万亿文本和代码数据上进行训练，序列长度为 8K。
• 注意力机制：采用分组查询注意力（GQA），4 个键值头和 16 个注意力头，加快推理速度。

📚 详细文档

基准测试

我们在 ARC Challenge（25 次少样本）、HellaSwag（10 次少样本）、TruthfulQA（0 次少样本）、MMLU（5 次少样本）、Winogrande（5 次少样本）和 GSM8k（5 次少样本）上对 Fox-1 进行了评估。我们遵循 Open LLM Leaderboard 的评估设置，并报告了这 6 个基准测试的平均得分。该模型在配备 8 个 H100 GPU 的机器上进行评估。

Open LLM Leaderboard 评估结果

详细结果可查看 此处

📄 许可证

本模型采用 Apache-2.0 许可证。