语言:

• 英文 许可证: apache-2.0 数据集:
• cerebras/SlimPajama-627B
• bigcode/starcoderdata 模型索引:
• 名称: TinyLlama-1.1B-intermediate-step-1431k-3T 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛（25样本） 类型: ai2_arc 配置: ARC-挑战 分割: 测试 参数: 少量样本数: 25 指标:
    • 类型: 标准化准确率 值: 33.87 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag（10样本） 类型: hellaswag 分割: 验证 参数: 少量样本数: 10 指标:
    • 类型: 标准化准确率 值: 60.31 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU（5样本） 类型: cais/mmlu 配置: 全部 分割: 测试 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 26.04 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA（0样本） 类型: truthful_qa 配置: 多项选择 分割: 验证 参数: 少量样本数: 0 指标:
    • 类型: mc2 值: 37.32 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande（5样本） 类型: winogrande 配置: winogrande_xl 分割: 验证 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 59.51 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k（5样本） 类型: gsm8k 配置: 主要 分割: 测试 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 1.44 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T 名称: 开放LLM排行榜

https://github.com/jzhang38/TinyLlama

TinyLlama项目旨在预训练一个1.1B参数的Llama模型，使用3万亿标记。通过一些适当的优化，我们可以在“仅”90天内使用16块A100-40G GPU完成这一目标🚀🚀。训练已于2023-09-01开始。

我们采用了与Llama 2完全相同的架构和分词器。这意味着TinyLlama可以即插即用到许多基于Llama的开源项目中。此外，TinyLlama仅有1.1B参数，非常紧凑。这种紧凑性使其能够满足多种对计算和内存占用有限制的应用需求。

本集合

本集合包含1T修复后的所有检查点。分支名称表示步骤和已看到的标记数量。

评估

开放LLM排行榜评估结果

详细结果可查看此处