许可证：apache-2.0

论文：https://arxiv.org/pdf/2310.06694.pdf
代码：https://github.com/princeton-nlp/LLM-Shearing
模型：Sheared-LLaMA-1.3B、Sheared-LLaMA-2.7B
未经持续预训练的剪枝模型：Sheared-LLaMA-1.3B-Pruned、Sheared-LLaMA-2.7B-Pruned
指令调优模型：Sheared-LLaMA-1.3B-ShareGPT、Sheared-LLaMA-2.7B-ShareGPT

许可证：必须遵守Llama2的许可证，因为这是基于Llama2衍生的模型。

Sheared-LLaMA-1.3B是从meta-llama/Llama-2-7b-hf剪枝并进一步预训练的模型。我们动态加载RedPajama数据集中不同领域的数据来剪枝并持续预训练模型。我们使用0.4B token进行剪枝，50B token对剪枝后的模型进行持续预训练。此模型可通过HuggingFace加载：

model = AutoModelForCausalLM.from_pretrained("princeton-nlp/Sheared-LLaMA-1.3B")

• 更小规模
• 与LLaMA1和LLaMA2相同的词汇表
• 利用现有强大LLM，以50B token的预算衍生

下游任务

我们在广泛的下游任务上进行了评估，包括推理、阅读理解、语言建模和知识密集型任务。我们的Sheared-LLaMA模型优于现有的大型语言模型。

1.3B

3B

Bibtex

@article{xia2023sheared,  
  title={Sheared llama: Accelerating language model pre-training via structured pruning},  
  author={Xia, Mengzhou and Gao, Tianyu and Zeng, Zhiyuan and Chen, Danqi},  
  journal={arXiv preprint arXiv:2310.06694},  
  year={2023}  
}  

Open LLM Leaderboard评估结果

详细结果请参见此处