语言:

• 英文 标签:
• llama2
• llama-2
• llama
• llama2架构
• litellama 数据集:
• Redpajama 评估指标:
• MMLU 许可证: mit 交互组件:
• 文本: "问: 最大的鸟类是什么？\n答:"

LiteLlama：精简版Llama

我们开源复现了Meta AI的LLaMa 2，但显著缩小了模型规模。LiteLlama-460M-1T仅含4.6亿参数，并使用1万亿token进行训练。

数据集与分词

模型训练基于RedPajama数据集部分内容，采用GPT2分词器进行文本处理。

训练细节

总训练token量约1万亿（实际0.98T），计算公式：步数序列长度批次大小=4996791024192=98240888832≈0.98T。训练曲线详见WandB项目。

使用HuggingFace Transformers

实验检查点可直接通过Transformers库加载。以下代码演示如何加载模型并生成文本：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = 'ahxt/LiteLlama-460M-1T'

model = AutoModelForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

prompt = '问: 最大的鸟类是什么？\n答:'
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
tokens = model.generate(input_ids, max_length=20)
print( tokenizer.decode(tokens[0].tolist(), skip_special_tokens=True) )
# 问: 最大的鸟类是什么？\n答: 最大的鸟类是黑头鸥。

评估

MMLU任务表现

开放LLM排行榜评估结果

详细数据参见此处

联系

本模型由德州农工大学DATA实验室的韩晓天在胡侠教授指导下开发，基于MIT许可证发布。