language:

• en pipeline_tag: text-generation tags:
• facebook
• meta
• pytorch
• llama
• llama-3
• quantized
• 2-bit
• 3-bit
• 4-bit
• 5-bit
• 6-bit
• 8-bit
• 16-bit
• GGUF inference: false model_creator: MaziyarPanahi model_name: Meta-Llama-3-70B-Instruct-GGUF quantized_by: MaziyarPanahi license_name: llama3

MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF

此处提供的GGUF量化模型基于meta-llama/Meta-Llama-3-70B-Instruct原始模型

下载方式

您可通过以下命令仅下载所需量化版本，无需克隆整个仓库：

huggingface-cli download MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF --local-dir . --include '*Q2_K*gguf'

加载GGUF模型

必须严格遵循Llama-3的提示词模板：

./llama.cpp/main -m Meta-Llama-3-70B-Instruct.Q2_K.gguf -r '<|eot_id|>' --in-prefix "\n<|start_header_id|>user<|end_header_id|>\n\n" --in-suffix "<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n" -p "<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\n你是一个乐于助人、聪明高效的人工智能助手。你将竭尽所能满足用户需求。<|eot_id|>\n<|start_header_id|>user<|end_header_id|>\n\n你好！最近怎么样？<|eot_id|>\n<|start_header_id|>assistant<|end_header_id|>\n\n" -n 1024

原始README文档

模型详情

Meta研发并发布了Llama 3系列大语言模型(LLM)，包含80亿和700亿参数的预训练及指令微调版本。经过对话优化的Llama 3指令模型在行业基准测试中超越多数开源聊天模型。我们在开发过程中特别注重优化助益性与安全性。

开发团队 Meta
版本规格 提供8B/70B参数的预训练和指令微调变体
输入类型 仅接受文本输入
输出类型 生成文本与代码
架构特性 采用优化Transformer架构的自回归语言模型，指令版本通过监督微调(SFT)和人类反馈强化学习(RLHF)对齐人类偏好

发布日期 2024年4月18日
许可协议 定制商业许可详见：https://llama.meta.com/llama3/license

使用场景

适用领域 英语商业/研究用途，指令模型适用于对话场景，预训练模型可适配各类文本生成任务
限制范围 禁止违反法律法规的使用行为，非英语场景需遵守社区许可条款

硬件要求

训练配置 使用定制训练库和Meta超级计算集群，预训练消耗770万H100-80GB GPU小时（TDP 700W），总碳排放2290吨（已通过Meta碳中和计划全额抵消）

安全架构

我们通过以下措施构建负责任AI生态：

• 发布负责任使用指南
• 开源Meta Llama Guard 2安全组件
• 建立漏洞赏金计划
• 通过专家红队测试评估CBRNE/网络安全/儿童安全风险

基准测试

伦理考量

Llama 3核心价值在于开放、包容与助益性。作为新兴技术，其输出可能存在不可预测性，建议开发者：

1. 针对具体应用场景进行安全测试
2. 集成Llama Guard安全过滤层
3. 遵循负责任使用指南

引用格式

@article{llama3modelcard,
title={Llama 3技术说明},
author={Meta人工智能团队},
year={2024},
url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}