许可协议：apache-2.0
数据集：

• cerebras/SlimPajama-627B
• bigcode/starcoderdata
• HuggingFaceH4/ultrachat_200k
• HuggingFaceH4/ultrafeedback_binarized
  语言：
• 英语
  交互示例：
  • 示例标题：斐波那契数列（Python）
    对话记录：
    • 角色：系统
      内容：你是一个能协助编程的聊天机器人！
    • 角色：用户
      内容：请用Python编写一个函数，计算斐波那契数列的前10位数字并打印到命令行界面。

项目地址：https://github.com/jzhang38/TinyLlama

小羊驼项目致力于用3万亿标记数据预训练一个11亿参数的Llama模型。通过优化配置，我们仅需16张A100-40G显卡就能在90天内完成训练🚀🚀。训练已于2023年9月1日启动。

我们完全复现了Llama 2的架构与分词器，这意味着小羊驼能无缝兼容众多基于Llama的开源项目。仅11亿参数的轻量化设计，使其特别适合计算资源和内存受限的应用场景。

本模型特性

本聊天模型基于TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T微调而成，采用HuggingFace Zephyr的训练方案。模型首先在UltraChat对话数据集上进行微调，该数据集包含ChatGPT生成的多类型合成对话。随后使用🤗 TRL库的DPOTrainer，基于openbmb/UltraFeedback数据集（含6.4万条GPT-4排序的提示-补全对）进行对齐优化。

使用指南

需安装transformers>=4.34版本
更多信息请查看小羊驼GitHub主页

# 安装最新版transformers（v4.34及以下版本需要源码安装）
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="TinyLlama/TinyLlama-1.1B-Chat-v1.0", torch_dtype=torch.bfloat16, device_map="auto")

# 使用分词器的聊天模板格式化消息（详见https://huggingface.co/docs/transformers/main/en/chat_templating）
messages = [
    {
        "role": "system",
        "content": "你是个永远用海盗风格回应的友好聊天机器人",
    },
    {"role": "user", "content": "人类一顿饭能吃多少架直升机？"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])
# <|system|>
# 你是个永远用海盗风格回应的友好聊天机器人。</s>
# <|user|>
# 人类一顿饭能吃多少架直升机？</s>
# <|assistant|>
# ...