许可协议：Apache-2.0
数据集：

• cerebras/SlimPajama-627B
• bigcode/starcoderdata
  语言：
• 英文

项目地址：https://github.com/jzhang38/TinyLlama

TinyLlama项目的目标是在3万亿token上预训练一个1.1B参数的Llama模型。通过适当的优化，我们可以在仅用16块A100-40G GPU的情况下，在90天内完成训练🚀🚀。训练已于2023-09-01启动。

我们完全采用了与Llama 2相同的架构和分词器，这意味着TinyLlama可以直接兼容许多基于Llama的开源项目。此外，TinyLlama仅含1.1B参数，这种紧凑性使其能够满足多种对计算和内存资源有限制的应用场景。

当前模型

这是一个包含50K训练步和1050亿token的中间检查点。

发布计划

我们将按照以下时间表发布中间检查点，同时提供一些基线模型作为对比。

使用方法

需安装transformers>=4.31版本。更多信息请查看TinyLlama项目主页。

from transformers import AutoTokenizer
import transformers 
import torch
model = "PY007/TinyLlama-1.1B-step-50K-105b"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

sequences = pipeline(
    'TinyLlama项目旨在用3万亿token预训练一个11亿参数的Llama模型。通过适当优化，我们仅需16块A100-40G GPU就能在90天内完成训练🚀🚀。训练已于2023-09-01启动。',
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    repetition_penalty=1.5,
    eos_token_id=tokenizer.eos_token_id,
    max_length=500,
)
for seq in sequences:
    print(f"生成结果: {seq['generated_text']}")