许可协议: apache-2.0
数据集:

• cerebras/SlimPajama-627B
• bigcode/starcoderdata
• timdettmers/openassistant-guanaco
  语言:
• 英文

https://github.com/jzhang38/TinyLlama

TinyLlama项目的目标是在3万亿token上预训练一个1.1B参数的Llama模型。通过适当的优化，我们可以在"仅"90天内使用16块A100-40G GPU完成这一目标 🚀🚀。训练已于2023-09-01启动。

我们完全采用了与Llama 2相同的架构和分词器。这意味着TinyLlama可以即插即用地应用于许多基于Llama的开源项目。此外，TinyLlama仅有1.1B参数，结构紧凑。这种紧凑性使其能够满足众多对计算和内存占用有限制的应用需求。

本模型

这是基于PY007/TinyLlama-1.1B-intermediate-step-240k-503b微调的对话模型。使用的数据集是openassistant-guananco。

使用方法

需要安装transformers>=4.31
更多信息请查看TinyLlama的GitHub页面。

from transformers import AutoTokenizer
import transformers 
import torch
model = "PY007/TinyLlama-1.1B-Chat-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

prompt = "开源项目的价值观是什么？"
formatted_prompt = (
    f"### Human: {prompt}### Assistant:"
)


sequences = pipeline(
    formatted_prompt,
    do_sample=True,
    top_k=50,
    top_p = 0.7,
    num_return_sequences=1,
    repetition_penalty=1.1,
    max_new_tokens=500,
)
for seq in sequences:
    print(f"结果: {seq['generated_text']}")