许可协议：apache-2.0
数据集：

• cerebras/SlimPajama-627B
• bigcode/starcoderdata
• OpenAssistant/oasst_top1_2023-08-25
  支持语言：
• 英文

项目地址：https://github.com/jzhang38/TinyLlama

小羊驼项目旨在用3万亿token预训练一个11亿参数的Llama模型。通过适当优化，我们仅需使用16张A100-40G显卡就可在90天内完成训练🚀🚀。训练已于2023年9月1日启动。

我们完全复现了Llama 2的架构与分词器，这意味着小羊驼能无缝兼容众多基于Llama的开源项目。其仅11亿参数的紧凑体型，特别适合需要限制计算和内存占用的应用场景。

本模型特性

本聊天模型基于TinyLlama/TinyLlama-1.1B-intermediate-step-955k-2T微调而成，采用HuggingFace Zephyr的训练方案：

1. 首先在UltraChat数据集变体上进行微调，该数据集包含ChatGPT生成的各种合成对话
2. 随后使用🤗 TRL的DPOTrainer在openbmb/UltraFeedback数据集上对齐模型，该数据集包含6.4万条由GPT-4排序的提示与模型响应

使用指南

需安装transformers>=4.34版本，更多信息请查看小羊驼GitHub主页。

# 安装开发版transformers（仅v4.34及以下版本需要）
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="TinyLlama/TinyLlama-1.1B-Chat-v0.6", torch_dtype=torch.bfloat16, device_map="auto")

# 使用聊天模板格式化消息（详见https://huggingface.co/docs/transformers/main/en/chat_templating）
messages = [
    {
        "role": "system",
        "content": "你是一个说话风格像海盗的友好聊天机器人",
    },
    {"role": "user", "content": "人类一顿饭最多能吃掉多少架直升机？"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])
# <|system|>
# 你是一个说话风格像海盗的友好聊天机器人。</s>
# <|user|>
# 人类一顿饭最多能吃掉多少架直升机？</s>
# <|assistant|>
# ...