语言:

• 英文 标签:
• llama2
• llama-2
• llama
• llama2架构 数据集:
• 红睡衣(Redpajama) 评估指标:
• MMLU

LLaMa精简版：LLaMA与LLaMA 2的缩小规模实验版本

本系列仓库开源复现了Meta AI的LLaMA和LLaMA 2大语言模型。但模型规模显著缩小，其中llama1_s实验版含18亿参数，llama2_xs实验版仅含4.6亿参数（'s'代表小型，'xs'代表超小型）。

数据集与分词

模型训练采用红睡衣(RedPajama)数据集部分内容，使用GPT2分词器进行文本分词。

使用HuggingFace Transformers

实验版检查点可直接通过Transformers库加载。以下代码演示如何加载实验模型并生成文本：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# model_path = 'ahxt/llama2_xs_460M_experimental'
model_path = 'ahxt/llama1_s_1.8B_experimental'

model = AutoModelForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

prompt = 'Q: What is the largest bird?\nA:'
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
tokens = model.generate(input_ids, max_length=20)
print( tokenizer.decode(tokens[0].tolist(), skip_special_tokens=True) )
# 问：最大的鸟类是什么？\n答：最大的鸟类是白头海雕。

评估

我们在MMLU任务上评估模型性能

联系方式

本实验版本由德克萨斯农工大学Xiaotian Han开发，仅限研究用途。

开放LLM排行榜评估结果

详细结果参见此处