基础模型: TinyLlama/TinyLlama-1.1B-Chat-v0.4
数据集:

• cerebras/SlimPajama-627B
• bigcode/starcoderdata
• OpenAssistant/oasst_top1_2023-08-25
  推理: 不支持
  语言:
• 英语
  许可证: apache-2.0
  模型创建者: TinyLlama
  模型名称: TinyLlama-1.1B-Chat-v0.4
  流水线标签: 文本生成
  量化者: afrideva
  标签:
• gguf
• ggml
• 量化
• q2_k
• q3_k_m
• q4_k_m
• q5_k_m
• q6_k
• q8_0

TinyLlama/TinyLlama-1.1B-Chat-v0.4-GGUF

TinyLlama-1.1B-Chat-v0.4的量化GGUF模型文件，由TinyLlama提供

原始模型卡片:

https://github.com/jzhang38/TinyLlama

TinyLlama项目的目标是在3万亿token上预训练一个1.1B参数的Llama模型。通过适当的优化，我们可以在“仅”90天内使用16块A100-40G GPU完成这一目标🚀🚀。训练已于2023-09-01开始。

我们采用了与Llama 2完全相同的架构和分词器。这意味着TinyLlama可以即插即用到许多基于Llama的开源项目中。此外，TinyLlama仅有1.1B参数，结构紧凑。这种紧凑性使其适用于需要限制计算和内存占用的多种应用场景。

本模型

这是基于TinyLlama/TinyLlama-1.1B-intermediate-step-715k-1.5T微调的聊天模型。
使用的数据集是OpenAssistant/oasst_top1_2023-08-25，遵循chatml格式。

使用方法

需要安装transformers>=4.31
更多信息请查看TinyLlama的GitHub页面。

from transformers import AutoTokenizer  
import transformers  
import torch  
model = "PY007/TinyLlama-1.1B-Chat-v0.4"  
tokenizer = AutoTokenizer.from_pretrained(model)  
pipeline = transformers.pipeline(  
    "text-generation",  
    model=model,  
    torch_dtype=torch.float16,  
    device_map="auto",  
)  

CHAT_EOS_TOKEN_ID = 32002  

prompt = "如何进入一所好大学？"  
formatted_prompt = (  
    f"<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant\n"  
)  

sequences = pipeline(  
    formatted_prompt,  
    do_sample=True,  
    top_k=50,  
    top_p=0.9,  
    num_return_sequences=1,  
    repetition_penalty=1.1,  
    max_new_tokens=1024,  
    eos_token_id=CHAT_EOS_TOKEN_ID,  
)  

for seq in sequences:  
    print(f"结果: {seq['generated_text']}")