language:

• en library_name: transformers license: llama2

ReluLLaMA-7B模型

• 模型创建者: Meta
• 原始模型: Llama 2 7B
• 微调团队: 清华大学自然语言处理实验室（THUNLP）与ModelBest

背景说明

稀疏计算正日益被视为提升大语言模型（LLMs）计算效率的重要方向。在众多方法中，以Mixtral为代表的专家混合（MoE）方法展现出特殊潜力。该方法通过选择性激活不同模型组件（专家）来优化资源利用。

最新研究（张等人，2021；刘等人，2023；米尔扎德等人，2023）表明，当采用ReLU激活函数时，LLMs天然具备适合稀疏计算的特性。这一发现为模型效率提升开辟了新途径，类似于MoE的选择性激活机制。通过动态选择计算参数，可显著提升效率。

然而，基于ReLU的模型在LLM领域尚未广泛普及。参考现有研究成果（张等人，2021；米尔扎德等人，2023）的转换方法，我们通过微调将现有模型转化为ReLU激活版本。希望这些开源的ReLU大模型能推动稀疏大模型的发展。

训练数据

我们使用约50亿token进行微调，数据来源包括：

• 维基百科
• Pile语料库
• StackOverflow问答平台

我们乐观预期，通过持续增加训练token量（覆盖更广泛数据类型），模型性能将逐步接近原始版本。

训练细节

我们采用联合优化策略，同步进行常规语言建模任务和知识蒸馏任务。知识蒸馏目标是最小化教师模型（原始LLM）与学生模型（ReLU激活版）之间的KL散度。由于微调数据规模有限，引入蒸馏目标既可防止过拟合，又能增强模型泛化能力，这也可视为标签平滑技术的应用。

性能评估

基于Open LLM Leaderboard测试集评估结果如下：

推理工具

采用PowerInfer推理框架，以下为fp16精度下纯CPU推理速度测试结果。测试平台配置：Intel i9-13900K处理器（8个性能核@5.4GHz）+192GB主机内存（内存带宽67.2GB/s）。

密集推理速度：5.17 token/秒

稀疏推理速度：8.21 token/秒

许可声明：

本模型受原始Llama-2模型许可协议及使用限制约束，不提供任何明示或暗示的担保。

局限性说明：

Llama 2及其微调版本作为新兴技术存在使用风险。当前测试仅限英语环境，无法覆盖所有应用场景。与其他LLMs类似，本模型可能在某些情况下产生不准确、有偏见或不恰当的回应。开发者在部署前应进行针对性的安全测试和调优。

请参阅责任使用指南：https://ai.meta.com/llama/responsible-use-guide/

引用格式：

建议使用以下BibTeX格式引用：

@misc{sparsellm,
    title={采用ReLU激活的稀疏大语言模型}, 
    author={SpaseLLM团队},
    year={2023}
}

致谢声明：

本模型卡片修改自ORCA_LLaMA_70B_QLoRA模板。