模型详情

Meta研发并发布了Llama 3系列大语言模型（LLMs），包含8B和70B两种规模的预训练及指令调优生成式文本模型。Llama 3指令调优模型针对对话场景优化，在行业常见基准测试中超越多数开源聊天模型。我们特别注重优化模型的实用性与安全性。

开发团队 Meta
版本变体 提供8B和70B参数的预训练版与指令调优版
输入类型 仅支持文本输入
输出类型 仅生成文本和代码
模型架构 Llama 3采用优化的自回归Transformer架构。调优版本通过监督微调（SFT）和人类反馈强化学习（RLHF）实现与人类偏好的对齐。

关键特性

• 全系列采用分组查询注意力机制（GQA）提升推理效率
• 静态离线训练模型（2024年4月18日发布）
• 商业许可证详见：官方授权链接
• 技术咨询请参阅GitHub文档

使用场景

适用领域

• 英语商业应用与学术研究
• 指令调优版适用于智能助手类对话
• 预训练版可适配多种文本生成任务

限制范围

• 禁止违反法律法规的使用
• 禁止违反《可接受使用政策》的行为
• 非英语场景需遵守附加条款

部署指南

Transformers集成

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-70B"
pipeline = transformers.pipeline(
    "text-generation", 
    model=model_id, 
    model_kwargs={"torch_dtype": torch.bfloat16}, 
    device_map="auto"
)
pipeline("今日天气如何？")

原生框架部署

通过huggingface-cli下载原始检查点：

huggingface-cli download meta-llama/Meta-Llama-3-70B --include "original/*" --local-dir Meta-Llama-3-70B

硬件效能

训练资源

• 累计消耗770万GPU小时（H100-80GB显卡）
• 总碳排放2290吨（已通过Meta碳中和计划完全抵消）

训练数据

• 预训练数据：超过15万亿token公开数据（不含用户数据）
• 微调数据：包含1000万人工标注样本
• 数据时效：8B版截至2023年3月，70B版截至2023年12月

性能基准

基础模型表现（5-shot测试）

指令调优模型表现

安全机制

核心措施

1. 红队对抗测试
2. 拒绝恶意请求优化（误拒率较Llama2降低57%）
3. 网络安全评估（通过CyberSecEval测试套件）
4. 儿童安全专家评审

配套工具

• Llama Guard 2安全过滤器
• 代码防护盾
• 漏洞举报通道：安全反馈表

伦理声明

Llama 3秉持开放包容原则，但开发者需注意：

1. 当前测试仅限英语场景
2. 可能产生偏差性输出
3. 建议部署前进行应用场景专项安全测试
4. 推荐集成Purple Llama安防方案

完整责任指南见：负责任使用手册

引用格式

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}