---

许可证：其他 许可证名称：llama3 许可证链接：LICENSE 额外授权提示：>-

META LLAMA 3 社区许可协议

Meta Llama 3 版本发布日期：2024年4月18日

"协议"指本文规定的关于Llama材料的使用、复制、分发和修改的条款和条件。

"文档"指Meta在https://llama.meta.com/get-started/发布的Meta Llama 3的规格、手册和文档。

"被许可方"或"您"指您、您的雇主或任何其他个人或实体（如果您代表该个人或实体签订本协议），且根据适用法律、法规达到提供法律同意的年龄，并有法律权限约束您的雇主或该其他个人或实体（如果您代表他们签订本协议）。

"Meta Llama 3"指基础大语言模型及软件和算法，包括机器学习模型代码、训练模型权重、推理代码、训练代码、微调代码以及Meta在https://llama.meta.com/llama-downloads发布的其他相关元素。

"Llama材料"指Meta专有的Meta Llama 3和文档（及其任何部分）在本协议下提供的整体。

"Meta"或"我们"指Meta Platforms爱尔兰有限公司（如果您位于欧洲经济区或瑞士，或实体主要营业地在这些地区）和Meta Platforms公司（如果您位于欧洲经济区或瑞士以外）。

1. 许可权利和再分发。

a. 权利授予。根据Meta在Llama材料中体现的知识产权或其他权利，授予您非排他性、全球性、不可转让且免版税的有限许可，以使用、复制、分发、复制、创建衍生作品和修改Llama材料。

b. 再分发和使用。

i. 如果您分发或提供Llama材料（或其任何衍生作品），或使用它们的任何产品或服务（包括其他AI模型），您应（A）随Llama材料提供本协议的副本；（B）在相关网站、用户界面、博客文章、关于页面或产品文档中显著显示"基于Meta Llama 3构建"。如果您使用Llama材料创建、训练、微调或以其他方式改进AI模型并分发或提供该模型，您还应在任何此类AI模型名称的开头包含"Llama 3"。

ii. 如果您从被许可方处接收Llama材料或其任何衍生作品作为集成终端用户产品的一部分，则本协议第2节不适用于您。

iii. 您必须在分发的所有Llama材料副本中保留以下归属声明，作为此类副本的一部分在"通知"文本文件中分发："Meta Llama 3根据Meta Llama 3社区许可协议授权，版权所有© Meta Platforms公司。保留所有权利。"

iv. 您对Llama材料的使用必须遵守适用法律法规（包括贸易合规法律法规），并遵守Llama材料的可接受使用政策（可在https://llama.meta.com/llama3/use-policy获取），该政策通过引用并入本协议。

v. 您不得使用Llama材料或其任何输出或结果来改进任何其他大语言模型（不包括Meta Llama 3或其衍生作品）。

2. 附加商业条款。如果在Meta Llama 3版本发布日，由您或您的关联公司提供的产品或服务的月活跃用户在前一个日历月超过7亿，您必须向Meta申请许可，Meta可自行决定是否授予您许可，除非Meta明确授予您此类权利，否则您无权行使本协议下的任何权利。

3. 免责声明。除非适用法律要求，Llama材料及其任何输出和结果均按"原样"提供，不提供任何形式的保证，Meta否认所有明示或默示的保证，包括但不限于所有权、不侵权、适销性或特定用途适用性的保证。您全权负责确定使用或再分发Llama材料的适当性，并承担使用Llama材料及其任何输出和结果的所有风险。

4. 责任限制。Meta及其关联公司对因本协议引起的任何利润损失或任何间接、特殊、附带、示范性或惩罚性损害不承担任何责任，无论基于何种责任理论（合同、侵权、疏忽、产品责任或其他），即使Meta或其关联公司已被告知此类损害的可能性。

5. 知识产权。

a. 本协议未授予任何商标许可，在与Llama材料相关的情况下，Meta和被许可方均不得使用对方或其关联公司拥有或关联的任何名称或标记，除非在描述和再分发Llama材料时合理且惯常使用或如第5(a)节所述。Meta特此授予您使用"Llama 3"（"标记"）的许可，仅用于遵守第1.b.i节最后一句的要求。您应遵守Meta的品牌指南（当前可在https://about.meta.com/brand/resources/meta/company-brand/获取）。您使用标记所产生的所有商誉均归Meta所有。

b. 在Meta对Llama材料及Meta或其代表制作的衍生作品的所有权前提下，对于您制作的Llama材料的任何衍生作品和修改，您与Meta之间，您是并将是该衍生作品和修改的所有者。

c. 如果您对Meta或任何实体提起诉讼或其他程序（包括诉讼中的交叉索赔或反诉），指控Llama材料或Meta Llama 3的输出或结果或其任何部分构成对您拥有或可许可的知识产权或其他权利的侵权，则本协议授予您的所有许可应自该诉讼或索赔提起或启动之日起终止。您应赔偿并使Meta免受因您使用或分发Llama材料引起的任何第三方索赔的损害。

6. 期限和终止。本协议自您接受本协议或访问Llama材料之日起生效，并持续有效直至根据本协议的条款和条件终止。Meta可在您违反本协议任何条款或条件时终止本协议。本协议终止后，您应删除并停止使用Llama材料。第3、4和7节在本协议终止后仍然有效。

7. 适用法律和管辖权。本协议受加利福尼亚州法律管辖和解释，不考虑法律冲突原则，《联合国国际货物销售合同公约》不适用于本协议。加利福尼亚州法院对本协议引起的任何争议拥有专属管辖权。

Meta Llama 3 可接受使用政策

Meta致力于促进其工具和功能的安全和公平使用，包括Meta Llama 3。如果您访问或使用Meta Llama 3，您同意本可接受使用政策（"政策"）。本政策的最新版本可在https://llama.meta.com/llama3/use-policy找到。

禁止用途

我们希望每个人都能安全、负责任地使用Meta Llama 3。您同意您不会使用或允许他人使用Meta Llama 3进行以下行为：

1. 违反法律或他人权利，包括：
   1. 从事、促进、生成、促成、鼓励、计划、煽动或进一步进行非法或违法活动或内容，例如：
      1. 暴力或恐怖主义
      2. 对儿童的剥削或伤害，包括招揽、创建、获取或传播儿童剥削内容或未报告儿童性虐待材料
      3. 人口贩卖、剥削和性暴力
      4. 向未成年人非法分发信息或材料，包括淫秽材料，或未对此类信息或材料采用法律要求的年龄限制措施
      5. 性招揽
      6. 任何其他犯罪活动
   2. 从事、促进、煽动或便利对个人或群体的骚扰、虐待、威胁或欺凌
   3. 在提供就业、就业福利、信贷、住房、其他经济利益或其他基本商品和服务时，从事、促进、煽动或便利歧视或其他非法或有害行为
   4. 从事未经授权或无执照的任何职业实践，包括但不限于金融、法律、医疗/健康或相关专业实践
   5. 未经适用法律要求的权利和同意，收集、处理、披露、生成或推断健康、人口统计或其他敏感个人或私人信息
   6. 从事或便利任何侵犯、盗用或以其他方式侵犯第三方权利的行为或生成任何内容，包括使用Llama材料的任何产品或服务的输出或结果
   7. 创建、生成或便利创建恶意代码、恶意软件、计算机病毒或任何可能禁用、过载、干扰或损害网站或计算机系统的正常运行、完整性、操作或外观的行为
2. 从事、促进、煽动、便利或协助计划或开发可能导致个人死亡或身体伤害的活动，包括与以下相关的Meta Llama 3使用：
   1. 军事、战争、核工业或应用、间谍活动、用于受美国国务院《国际武器贸易条例》（ITAR）管制的材料或活动
   2. 枪支和非法武器（包括武器开发）
   3. 非法药物和受管制物质
   4. 关键基础设施、交通技术或重型机械的操作
   5. 自残或伤害他人，包括自杀、自残和饮食失调
   6. 任何旨在煽动或促进暴力、虐待或对个人造成身体伤害的内容
3. 故意欺骗或误导他人，包括与以下相关的Meta Llama 3使用：
   1. 生成、促进或进一步进行欺诈或虚假信息的创建或推广
   2. 生成、促进或进一步进行诽谤性内容，包括创建诽谤性陈述、图像或其他内容
   3. 生成、促进或进一步分发垃圾信息
   4. 未经同意、授权或法律权利冒充他人
   5. 表示Meta Llama 3或其输出是人工生成的
   6. 生成或便利虚假在线互动，包括虚假评论和其他虚假在线互动手段
4. 未向终端用户适当披露您的AI系统的任何已知危险

请通过以下方式报告任何违反本政策的行为、软件"漏洞"或其他可能导致违反本政策的问题： * 报告模型问题：https://github.com/meta-llama/llama3 * 报告模型生成的风险内容： developers.facebook.com/llama_output_feedback * 报告漏洞和安全问题：facebook.com/whitehat/info * 报告违反可接受使用政策或未经许可使用Meta Llama 3的行为：LlamaUseReport@meta.com 额外授权字段： 名字：文本 姓氏：文本 出生日期：日期选择器 国家：国家 所属机构：文本 地理位置：IP定位
点击下方的提交按钮即表示我接受许可条款，并确认我提供的信息将根据Meta隐私政策进行收集、存储、处理和共享：复选框 额外授权描述：您提供的信息将根据Meta隐私政策进行收集、存储、处理和共享。 额外授权按钮内容：提交 基础模型：meta-llama/Meta-Llama-3-70B-Instruct 推理：false 语言：

• en 模型创建者：Meta Llama 3 模型链接：https://huggingface.co/meta-llama/Meta-Llama-3-70B 模型名称：Llama 3 70B 模型类型：llama 管道标签：文本生成 量化者：FriendliAI 标签：
• facebook
• meta
• pytorch
• llama
• llama-3

---

Llama 3 70B - FP8

• 模型创建者：Meta Llama 3
• 原始模型：Llama 3 70B

描述

此仓库包含由FriendliAI量化为FP8的Llama 3 70B模型，显著提高了其推理效率，同时保持高精度。 请注意，FP8仅支持NVIDIA Ada、Hopper和Blackwell GPU架构。 查看FriendliAI文档获取更多详情。

许可证

参考原始模型卡的许可证。

兼容性

此模型兼容**Friendli容器**。

前提条件

• 开始前，请确保您已注册Friendli Suite。您可以免费使用Friendli容器四周。
• 按照本指南准备个人访问令牌。
• 按照本指南准备Friendli容器密钥。

准备个人访问令牌

PAT（个人访问令牌）是用于登录我们的容器注册表的用户凭证。

1. 登录Friendli Suite。
2. 转到**用户设置 > 令牌并点击'创建新令牌'**。
3. 保存您创建的令牌值。

准备容器密钥

容器密钥是启动我们的Friendli容器镜像的凭证。 您应将容器密钥作为环境变量传递给容器镜像以运行它。

1. 登录Friendli Suite。
2. 转到容器 > 容器密钥并点击**'创建密钥'**。
3. 保存您创建的密钥值。

拉取Friendli容器镜像

1. 使用本指南中创建的个人访问令牌登录Docker客户端。

export FRIENDLI_PAT="您的PAT"
docker login registry.friendli.ai -u $您的邮箱 -p $FRIENDLI_PAT

2. 拉取镜像

docker pull registry.friendli.ai/trial

运行Friendli容器

一旦您准备好Friendli容器的镜像，您可以启动它以创建服务端点。

docker run \
  --gpus '"device=0,1"' \
  -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e FRIENDLI_CONTAINER_SECRET="您的容器密钥" \
  registry.friendli.ai/trial \
    --web-server-port 8000 \
    --hf-model-name FriendliAI/Meta-Llama-3-70B-fp8 \
    --num-devices 2  # 使用张量并行度2

---

原始模型卡：Meta Llama 3 70B

模型详情

Meta开发并发布了Meta Llama 3系列大语言模型（LLMs），这是一组8B和70B大小的预训练和指令调优生成文本模型。Llama 3指令调优模型针对对话用例进行了优化，在许多行业基准测试中优于许多可用的开源聊天模型。此外，在开发这些模型时，我们非常注重优化帮助性和安全性。

模型开发者 Meta

变体 Llama 3有两种大小——8B和70B参数——包括预训练和指令调优变体。

输入 模型仅输入文本。

输出 模型仅生成文本和代码。

模型架构 Llama 3是一种自回归语言模型，使用优化的Transformer架构。调优版本使用监督微调（SFT）和人类反馈强化学习（RLHF）以符合人类对帮助性和安全性的偏好。

	训练数据	参数	上下文长度	GQA	令牌计数	知识截止
Llama 3	新的公开在线数据混合。	8B	8k	是	15T+	2023年3月
		70B	8k	是		2023年12月

Llama 3模型系列。令牌计数仅指预训练数据。8B和70B版本均使用分组查询注意力（GQA）以提高推理可扩展性。

模型发布日期 2024年4月18日。

状态 这是一个在离线数据集上训练的静态模型。调优模型的未来版本将在我们通过社区反馈改进模型安全性时发布。

许可证 可在以下网址获取自定义商业许可证：https://llama.meta.com/llama3/license

关于模型的疑问或评论发送位置 有关如何提供模型反馈或评论的说明可在模型README中找到。有关生成参数的技术信息以及如何在应用程序中使用Llama 3的配方，请访问此处。

预期用途

预期用例 Llama 3适用于英语的商业和研究用途。指令调优模型适用于类似助手的聊天，而预训练模型可适应各种自然语言生成任务。

超出范围 以任何方式违反适用法律或法规（包括贸易合规法律）的使用。以任何其他方式违反可接受使用政策和Llama 3社区许可证的使用。在英语以外的语言中使用**。

**注意：开发者可以针对英语以外的语言微调Llama 3模型，前提是他们遵守Llama 3社区许可证和可接受使用政策。

使用方法

此仓库包含两个版本的Meta-Llama-3-8B-Instruct，分别用于transformers和原始llama3代码库。

与transformers一起使用

查看以下代码片段以与Transformers一起使用：

>>> import transformers
>>> import torch

>>> model_id = "meta-llama/Meta-Llama-3-70B"

>>> pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
>>> pipeline("嘿，你今天好吗？")

与llama3一起使用

请遵循仓库中的说明。

要下载原始检查点，请参阅以下使用huggingface-cli的示例命令：

huggingface-cli download meta-llama/Meta-Llama-3-70B --include "original/*" --local-dir Meta-Llama-3-70B

对于Hugging Face支持，我们推荐使用transformers或TGI，但类似的命令也适用。

硬件和软件

训练因素 我们使用自定义训练库、Meta的研究超级集群和生产集群进行预训练。微调、注释和评估也在第三方云计算上进行。

碳足迹预训练 累计使用了7.7M GPU小时的计算，硬件类型为H100-80GB（TDP为700W）。估计总排放量为2290吨CO2当量，其中100%由Meta的可持续发展计划抵消。

	时间（GPU小时）	功耗（W）	碳排放（tCO2eq）
Llama 3 8B	1.3M	700	390
Llama 3 70B	6.4M	700	1900
总计	7.7M		2290