额外授权标题：您需要与Meta共享联系信息以访问此模型
额外授权提示：

FAIR非商业研究许可协议

最后更新日期：[2024年10月16日]

“可接受使用政策”指适用于研究材料的FAIR可接受使用政策，该政策已纳入本协议。

“协议”指本文规定的关于研究材料的使用、复制、分发和修改的条款与条件。

“文档”指Meta分发的研究材料所附带的规格说明书、手册及相关文档。

“被许可方”或“您”指您本人，或您的雇主或其他个人/实体（若您代表该个人/实体签署本协议），且需符合适用法律、法规规定的法定同意年龄，若您代表雇主或其他实体签署本协议，还需具备约束该实体的法律权限。

“Meta”或“我们”指Meta Platforms爱尔兰有限公司（若您位于欧洲经济区或瑞士，或作为实体其主要营业地位于上述地区）和Meta Platforms, Inc.（若您位于欧洲经济区或瑞士以外地区）。

“非商业研究用途”指与研究、开发、教育、处理或分析相关的非商业研究用例，且主要目的并非为您或他人获取商业优势或金钱报酬。

“研究材料”统指Meta根据本协议分发的文档、模型、软件、算法（包括机器学习模型代码、训练后的模型权重、推理支持代码、训练支持代码、微调支持代码、演示材料及其他相关组件）。

点击下方“我接受”或使用/分发研究材料的任何部分，即表示您同意受本协议约束。

1. 许可权利与再分发
   a. 权利授予。Meta授予您一项非排他性、全球性、不可转让且免版税的有限许可，允许您使用、复制、分发、创作衍生作品及修改研究材料中体现的Meta知识产权或其他权利。
   b. 再分发与使用
   i. 您不得将研究材料或其输出结果用于商业用途或非商业研究用途以外的目的；
   ii. 研究材料及其衍生作品的分发需遵守本协议条款。若向第三方分发研究材料或其衍生作品，必须按本协议条款执行，并向该第三方提供本协议副本；
   iii. 若发表基于研究材料的研究成果，须在出版物中注明使用了研究材料；
   iv. 使用研究材料须遵守适用法律法规（包括贸易管制法）及FAIR可接受使用政策（该政策通过引用纳入本协议）。

2. 用户支持。您对研究材料的非商业研究使用自行承担风险；Meta不处理任何相关信息也不提供相关服务。Meta无义务提供技术支持，任何支持均按“现状”提供，不附带任何明示或默示保证。

3. 免责声明。除非法律另有要求，研究材料及其输出结果均按“原样”提供，Meta放弃所有明示或默示保证（包括适销性、特定用途适用性等）。您需自行评估使用或分发研究材料的适当性并承担全部风险。

4. 责任限制。Meta及其关联公司对因本协议引起的任何间接、特殊、附带或惩罚性损害（包括利润损失）概不负责，即使已被告知可能发生此类损害。

5. 知识产权
   a. 除Meta对研究材料及其衍生作品的所有权外，您对自行创作的衍生作品享有所有权；
   b. 若您对Meta提起知识产权侵权诉讼（包括交叉索赔），本协议授予的许可将自诉讼提起之日起终止，且您须赔偿Meta因您使用/分发研究材料导致的第三方索赔。

6. 期限与终止。本协议自您接受或访问研究材料时生效，直至按条款终止。Meta有权在您违约时终止协议。终止后您须停止使用并删除研究材料。第5、6、9条在终止后仍然有效。

7. 适用法律与管辖。本协议受加利福尼亚州法律管辖（不考虑冲突法原则），《联合国国际货物销售合同公约》不适用。任何争议由加州法院专属管辖。

8. 修改。Meta可通过https://huggingface.co/facebook/layerskip-llama2-7B/blob/main/LICENSE发布修订版协议（需与当前版本精神一致），修改立即生效。继续使用研究材料视为接受修改。

FAIR可接受使用政策

Meta基础AI研究（FAIR）团队致力于通过开放研究推动人工智能前沿发展。作为使命的一部分，Meta提供特定研究材料供非商业研究使用，并倡导安全负责任的使用方式。

禁止用途

您同意不将研究材料用于以下目的：

1. 违法或侵犯他人权利（包括暴力、儿童剥削、人口贩卖、向未成年人分发非法内容等）；
2. 可能导致人身伤害的活动（如军事应用、武器开发、关键基础设施操作等）；
3. 欺骗行为（如生成虚假信息、垃圾邮件、冒充他人等）；
4. 未向终端用户披露研究材料的已知风险。

违规举报请通过此链接提交。

额外授权字段：

• 名字：文本
• 姓氏：文本
• 出生日期：日期选择器
• 国家：下拉菜单
• 所属机构：文本
• 地理位置：IP定位
• 勾选框：点击提交即表示我接受许可条款，并同意所提供信息将按Meta隐私政策处理

额外授权按钮内容：提交

语言：英语
库名称：transformers
任务标签：文本生成
标签：facebook, meta, pytorch, llama, llama-2

模型索引：

• 名称：LayerSkip Llama2 7B
• 结果（涵盖问答、文本生成等任务在BoolQ、PIQA等数据集上的准确率指标）

许可证类型：其他
许可证名称：fair
许可证链接：LICENSE
基础模型：meta-llama/Llama-2-7b-hf

LayerSkip Llama2 7B

基于Layer Skip: Enabling Early Exit Inference and Self-Speculative Decoding论文提出的方法，本Llama2 7B模型通过持续预训练支持层级跳跃，能够执行自推测解码：先用浅层生成草稿，再用深层验证。

使用方法

提供三种运行方式：

1. HuggingFace：复用推测解码功能，通过创建浅层子模型作为草稿模型
2. LayerSkip代码库：优化实现，共享权重和KV缓存
3. gpt-fast：集成PyTorch优化栈（如torch.compile）

各方案均附有效能对比（如自推测解码速度提升60%）及详细代码示例。

训练与评估

• 训练方法详见pytorch/torchtune#1076
• 评估结果展示于模型卡右侧（使用EleutherAI和BigCode评估框架）

问题反馈

• 模型问题：GitHub Issues
• 风险内容：Llama输出反馈
• 安全漏洞：白帽报告

许可证

详见LICENSE文件。