language:

• en license: other tags:
• facebook
• meta
• pytorch
• llama
• llama-3
• GGUF pipeline_tag: text-generation license_name: llama3 license_link: LICENSE extra_gated_prompt: "### META LLAMA 3 社区许可协议\nMeta Llama 3版本发布日期：2024年4月18日\n"协议"指本文规定的关于Llama材料使用、复制、分发和修改的条款与条件。\n"文档"指Meta在https://llama.meta.com/get-started/发布的Meta Llama 3配套规范、手册和文档。\n"被许可方"或"您"指根据适用法律、法规达到法定同意年龄的个人，或其雇主或其他实体（若您代表该个人或实体签署本协议），且您有权代表雇主或其他实体签署本协议。\n"Meta Llama 3"指Meta在https://llama.meta.com/llama-downloads发布的基础大语言模型及软件算法，包括机器学习模型代码、训练模型权重、推理代码、训练代码、微调代码等。\n"Llama材料"指根据本协议提供的Meta专有Meta Llama 3和文档（或其任何部分）的统称。\n"Meta"或"我们"指Meta Platforms爱尔兰有限公司（若您位于欧洲经济区或瑞士，或实体主要营业地位于上述地区）和Meta Platforms公司（若您位于上述地区之外）。\n\n1. 许可权利与再分发\na. 权利授予。您获得Meta在Llama材料中体现的知识产权或其他权利的全球性、非独占、不可转让且免版税的有限许可，可使用、复制、分发、创作衍生作品并修改Llama材料。\nb. 再分发与使用\ni. 若您分发Llama材料（或其衍生作品），或使用它们的产品/服务（包括其他AI模型），您必须：(A)随Llama材料提供本协议副本；(B)在相关网站、用户界面、博客、关于页面或产品文档显著标注"基于Meta Llama 3构建"。若使用Llama材料创建/训练/微调/改进AI模型并分发，还需在模型名称前添加"Llama 3"。\nii. 若您从被许可方处获得Llama材料或其衍生作品作为集成终端产品的一部分，则本协议第2条不适用。\niii. 您必须在分发的所有Llama材料副本中包含以下声明："Meta Llama 3根据Meta Llama 3社区许可协议授权，版权所有© Meta Platforms公司。保留所有权利。"\niv. 使用Llama材料必须遵守适用法律法规（包括贸易合规法规）及Llama材料可接受使用政策（https://llama.meta.com/llama3/use-policy）。\nv. 不得使用Llama材料或其输出来改进其他大语言模型（Meta Llama 3及其衍生作品除外）。\n\n2. 附加商业条款\n若在Meta Llama 3版本发布日，被许可方或其关联公司提供的产品或服务的月活跃用户在之前日历月超过7亿，则必须向Meta申请许可（Meta可自行决定是否授予），在Meta明确授予前不得行使本协议下的任何权利。\n\n3. 免责声明\n除非法律要求，Llama材料及其输出按"原样"提供，Meta不提供任何明示或默示保证（包括适销性、特定用途适用性等）。您需自行评估使用/分发Llama材料的适当性并承担相关风险。\n\n4. 责任限制\nMeta及其关联公司对因本协议引起的任何间接、特殊、附带、惩戒性损害（包括利润损失）概不负责，即使已被告知可能性。\n\n5. 知识产权\na. 本协议不授予商标许可。除合理常规使用描述外，双方不得使用对方或其关联公司的名称/标志。Meta授予您有限使用"Llama 3"标志的权利（仅限遵守第1.b.i条要求），您需遵守Meta品牌指南（https://about.meta.com/brand/resources/meta/company-brand/）。\nb. 除Meta对Llama材料及其衍生作品的所有权外，您对自行创作的衍生作品和修改拥有所有权。\nc. 若您对Meta提起知识产权诉讼（指控Llama材料或其输出侵权），本协议授予的许可自诉讼提起之日起终止。您需就第三方索赔对Meta进行赔偿。\n\n6. 期限与终止\n本协议自您接受或访问Llama材料时生效，直至终止。Meta可在您违约时终止协议。终止后您应删除并停止使用Llama材料。第3、4、7条在终止后仍然有效。\n\n7. 适用法律与管辖\n本协议受加利福尼亚州法律管辖（不考虑冲突法原则），排除《联合国国际货物销售合同公约》适用。任何争议由加州法院专属管辖。\n\n### Meta Llama 3可接受使用政策\nMeta致力于促进Llama 3的安全公平使用。使用Llama 3即表示您同意本政策（最新版本见https://llama.meta.com/llama3/use-policy）。\n\n#### 禁止用途\n您同意不将Llama 3用于：\n1. 违法或侵犯他人权利的行为，包括：\n - 暴力/恐怖主义活动\n - 儿童剥削内容\n - 人口贩卖/性暴力\n - 向未成年人非法分发信息\n - 职业无证执业\n - 未经授权处理敏感个人信息\n - 侵犯第三方权利\n - 创建恶意软件\n2. 可能导致人身伤害的活动，包括：\n - 军事/核应用\n - 非法武器开发\n - 关键基础设施操作\n - 自残/伤害他人内容\n3. 欺骗行为，包括：\n - 生成虚假信息\n - 诽谤内容\n - 冒充他人\n - 谎称AI输出为人写\n4. 未向终端用户披露AI系统已知风险\n\n违规举报渠道：\n- 模型问题：https://github.com/meta-llama/llama3\n- 风险内容反馈：developers.facebook.com/llama_output_feedback\n- 漏洞报告：facebook.com/whitehat/info\n- 政策违规举报：LlamaUseReport@meta.com" extra_gated_fields: 名: text 姓: text 出生日期: date_picker 国家: country 所属机构: text 地理位置: ip_location ? 点击提交即表示接受许可条款，并同意根据Meta隐私政策收集、存储、处理和共享所提供信息 : checkbox extra_gated_description: 所提供信息将根据Meta隐私政策进行收集、存储、处理和共享。 extra_gated_button_content: 提交 quantized_by: andrijdavid

Meta-Llama-3-70B-Instruct-GGUF

• 原始模型: Meta-Llama-3-70B-Instruct

模型说明

本仓库包含Meta-Llama-3-70B-Instruct的GGUF格式模型文件。

关于GGUF

GGUF是llama.cpp团队于2023年8月21日推出的新格式，用于替代不再支持的GGML格式。以下是已知支持GGUF的客户端和库的不完全列表：

• llama.cpp - GGUF的源项目，提供命令行界面和服务器选项
• text-generation-webui - 最广泛使用的Web UI，支持GPU加速
• Ollama - 轻量级本地运行框架
• KoboldCpp - 全平台GPU加速的Web UI
• GPT4All - 跨平台本地GUI
• LM Studio - Windows/macOS图形界面
• LoLLMS Web UI - 特色Web UI
• Faraday.dev - 角色聊天GUI
• llama-cpp-python - Python库
• candle - Rust ML框架
• ctransformers - Python库
• localGPT - 文档对话开源项目

量化方法解析

如何下载GGUF文件

手动下载提示：通常只需下载单个量化文件夹而非整个仓库。

以下客户端/库可自动下载模型并提供选择列表：

• LM Studio
• LoLLMS Web UI
• Faraday.dev

在text-generation-webui中

在下载模型处输入仓库名：LiteLLMs/Meta-Llama-3-70B-Instruct-GGUF及具体文件名（如Q4_0/Q4_0-00001-of-00009.gguf），点击下载。

命令行批量下载

建议使用huggingface-hub库：

pip3 install huggingface-hub

下载单个文件：

huggingface-cli download LiteLLMs/Meta-Llama-3-70B-Instruct-GGUF Q4_0/Q4_0-00001-of-00009.gguf --local-dir . --local-dir-use-symlinks False

llama.cpp运行示例

确保使用d0cee0d或更新版本：

./main -ngl 35 -m Q4_0/Q4_0-00001-of-00009.gguf --color -c 8192 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "<提示语>"

参数说明：

• -ngl 32：卸载到GPU的层数（无GPU加速可移除）
• -c 8192：序列长度（长序列需更多资源）
• 对话模式将-p替换为-i -ins

在text-generation-webui中运行

详见文档

Python调用

推荐使用llama-cpp-python库（ctransformers可能不兼容新模型）：

from llama_cpp import Llama
llm = Llama(
  model_path="./Q4_0/Q4_0-00001-of-00009.gguf",
  n_ctx=32768,  # 最大序列长度
  n_threads=8,  # CPU线程数
  n_gpu_layers=35  # GPU加速层数
)
output = llm("提示语", max_tokens=512, stop=["</s>"], echo=True)

聊天API示例：

llm.create_chat_completion(
    messages = [
        {"role": "system", "content": "你是一个写作助手"},
        {"role": "user", "content": "写一个关于羊驼的故事"}
    ]
)

LangChain集成

参考指南：

• LangChain + llama-cpp-python
• LangChain + ctransformers

原始模型卡片：Meta-Llama-3-70B-Instruct

模型详情

Meta发布Llama 3系列大语言模型，包含80亿和700亿参数的预训练及指令调优版本。指令调优模型针对对话优化，在行业基准测试中超越多数开源聊天模型，特别优化了帮助性和安全性。

训练数据：超过15万亿token的公开数据，微调数据包含1000万人工标注样本。

知识截止：70B模型为2023年12月。

许可证：自定义商业许可（https://llama.meta.com/llama3/license）

评估结果

基础模型

指令调优模型

责任与安全

我们通过红队测试、对抗性评估和安全缓解技术降低风险。建议开发者：

1. 实施Meta Llama Guard 2等安全措施
2. 参考负责任使用指南
3. 使用参考实现

关键风险评估：

• CBRNE（化生放核爆）：专家参与威胁测试
• 网络安全：通过CyberSecEval测试
• 儿童安全：专家红队测试扩展评估范围

引用

@article{llama3modelcard, title={Llama 3 Model Card}, author={AI@Meta}, year={2024}, url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md} }