license: llama2

论文: https://arxiv.org/pdf/2310.06694.pdf
代码: https://github.com/princeton-nlp/LLM-Shearing
模型: Sheared-LLaMA-1.3B, Sheared-LLaMA-2.7B
未继续预训练的剪枝模型: Sheared-LLaMA-1.3B-Pruned, Sheared-LLaMA-2.7B-Pruned
指令调优模型: Sheared-LLaMA-1.3B-ShareGPT, Sheared-LLaMA-2.7B-ShareGPT

许可协议: 必须遵守Llama2的许可协议，因为这是基于Llama2衍生的模型。

Sheared-LLaMA-1.3B-Pruned是从meta-llama/Llama-2-7b-hf剪枝得到的模型，未进行继续预训练。
我们使用了大约0.4B的token进行剪枝实验。该模型可用于研究以下方面：

• 继续预训练的有效数据混合策略
• 与其他剪枝技术的比较
• 深入评估剪枝如何影响大语言模型的知识和推理能力