许可证：apache-2.0
数据集：

• cerebras/SlimPajama-627B
• bigcode/starcoderdata
• OpenAssistant/oasst_top1_2023-08-25
  语言：
• 英文

项目地址：https://github.com/jzhang38/TinyLlama

TinyLlama项目的目标是在3万亿token上预训练一个1.1B参数的Llama模型。通过适当的优化，我们可以在“仅”90天内使用16块A100-40G GPU完成这一任务🚀🚀。训练已于2023-09-01启动。

我们完全采用了与Llama 2相同的架构和分词器，这意味着TinyLlama可以即插即用地应用于许多基于Llama的开源项目中。此外，TinyLlama仅有1.1B参数，结构紧凑，能够满足多种对计算和内存占用有限制的应用需求。

本模型

此模型是在TinyLlama/TinyLlama-1.1B-intermediate-step-715k-1.5T基础上微调的聊天模型。
使用的数据集为OpenAssistant/oasst_top1_2023-08-25，遵循chatml格式。

使用方法

需安装transformers>=4.31。
更多信息请查看TinyLlama的GitHub页面。

from transformers import AutoTokenizer  
import transformers  
import torch  

model = "PY007/TinyLlama-1.1B-Chat-v0.4"  
tokenizer = AutoTokenizer.from_pretrained(model)  
pipeline = transformers.pipeline(  
    "text-generation",  
    model=model,  
    torch_dtype=torch.float16,  
    device_map="auto",  
)  

CHAT_EOS_TOKEN_ID = 32002  

prompt = "How to get in a good university?"  
formatted_prompt = f"<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant\n"  

sequences = pipeline(  
    formatted_prompt,  
    do_sample=True,  
    top_k=50,  
    top_p=0.9,  
    num_return_sequences=1,  
    repetition_penalty=1.1,  
    max_new_tokens=1024,  
    eos_token_id=CHAT_EOS_TOKEN_ID,  
)  

for seq in sequences:  
    print(f"结果：{seq['generated_text']}")