Tinyllama 1.1B Intermediate Step 1195k Token 2.5T

由 TinyLlama 开发

TinyLlama是一个1.1B参数的小型Llama模型，在3万亿token上预训练，设计用于资源有限的环境。

英语

下载量 419

发布时间 : 12/11/2023

模型介绍

内容详情

替代品

模型简介

TinyLlama项目旨在预训练一个1.1B参数的Llama模型，使用16块A100-40G GPU在90天内完成。模型采用与Llama 2相同的架构和分词器，适用于多种基于Llama的开源项目。

高效训练

使用16块A100-40G GPU在90天内完成3万亿token的预训练。

紧凑结构

仅有1.1B参数，适合计算和内存资源有限的应用场景。

兼容性

采用与Llama 2相同的架构和分词器，可即插即用地应用于基于Llama的开源项目。

文本生成

语言理解

自然语言处理

文本生成

生成连贯的英文文本

语言理解

理解并回答英文问题

模型	预训练Token数	HellaSwag	Obqa	WinoGrande	ARC_c	ARC_e	boolq	piqa	平均
Pythia-1.0B	300B	47.16	31.40	53.43	27.05	48.99	60.83	69.21	48.30
TinyLlama-1.1B-中间步骤-50K-104b	103B	43.50	29.80	53.28	24.32	44.91	59.66	67.30	46.11
TinyLlama-1.1B-中间步骤-240k-503b	503B	49.56	31.40	55.80	26.54	48.32	56.91	69.42	48.28
TinyLlama-1.1B-中间步骤-480k-1007B	1007B	52.54	33.40	55.96	27.82	52.36	59.54	69.91	50.22
TinyLlama-1.1B-中间步骤-715k-1.5T	1.5T	53.68	35.20	58.33	29.18	51.89	59.08	71.65	51.29
TinyLlama-1.1B-中间步骤-955k-2T	2T	54.63	33.40	56.83	28.07	54.67	63.21	70.67	51.64
TinyLlama-1.1B-中间步骤-1195k-token-2.5T	2.5T	58.96	34.40	58.72	31.91	56.78	63.21	73.07	53.86