许可证：apache-2.0
数据集：

• togethercomputer/RedPajama-Data-1T-Sample
  语言：
• en
  标签：
• llama
• llama 2

TinyLlama-1.1B-32k

基于TinyLlama-1.1B的32k上下文微调版本，通过增大rope theta（rope频率基数）实现，旨在作为长上下文推测解码模型使用。

该模型基于TinyLlama-1.1B，并在togethercomputer/RedPajama-Data-1T-Sample数据集上以32768上下文长度进行了进一步预训练。

需注意，基础检查点来自提交版本"final model" fad4f1a5cd0563ac41349b8fec2e6e51156568a0（该版本后续被回滚），而非当前TinyLlama-1.1B主分支的3T检查点。

EXL2量化版本 by turboderp

量化模型可适配单张A6000显卡，与4.25bpw的70B模型在32k序列长度下并行运行，通过推测解码显著提升速度。

Wikitext (wikitext-2-raw-v1_train) 困惑度测试（64行，通过exllamav2评估）：

HumanEval评估 by turboderp：