模型信息

Meta Llama 3.1 多语言大语言模型（LLMs）系列包含8B、70B和405B三种规模的预训练及指令调优生成模型（文本输入/输出）。Llama 3.1纯文本指令调优模型（8B、70B、405B）针对多语言对话场景优化，在主流行业基准测试中超越多数开源和闭源聊天模型。

开发方：Meta
架构：Llama 3.1采用自回归语言模型架构，基于优化的Transformer。调优版本通过监督微调（SFT）和人类反馈强化学习（RLHF）实现与人类偏好的对齐。

支持语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语
模型家族：参数量仅含预训练数据，全系列采用分组查询注意力（GQA）提升推理效率
发布日期：2024年7月23日
状态：基于离线数据的静态模型，后续调优版本将根据社区反馈持续优化安全性
许可证：定制商业许可Llama 3.1社区协议，详见许可证链接
技术文档：生成参数说明及应用案例详见Llama食谱

预期用途

适用场景

• 商业与研究领域的多语言应用
• 指令调优模型适用于类助手对话场景
• 预训练模型适配多种自然语言生成任务
• 支持模型输出改进（如合成数据生成与蒸馏）

限制范围

• 违反法律法规的使用（含贸易合规）
• 违反《可接受使用政策》的行为
• 超出8种指定支持语言的场景

（注：Llama 3.1实际训练涵盖语言超过8种，开发者可针对其他语言微调，但需自行确保使用安全）

使用指南

Transformers集成（需4.43.0+版本）

import transformers
import torch

model_id = "meta-llama/Llama-3.1-8B"
pipeline = transformers.pipeline(
    "text-generation", 
    model=model_id, 
    model_kwargs={"torch_dtype": torch.bfloat16}, 
    device_map="auto"
)
pipeline("你好，今天过得怎么样？")

原生代码库使用

参考Llama官方仓库说明，通过huggingface-cli下载原始检查点：

huggingface-cli download meta-llama/Llama-3.1-8B --include "original/*" --local-dir Llama-3.1-8B

硬件与训练

训练设施

• 定制训练库
• Meta自建GPU集群
• 累计消耗3930万H100-80GB显卡小时（单卡TDP 700W）

碳排放

• 基于位置的碳排放估算：11,390吨CO2当量
• 实际市场排放：0吨（Meta自2020年起实现全球运营净零排放）

训练数据

• 预训练数据：约15万亿token公开来源
• 微调数据：公开指令数据集+2500万合成样本
• 数据时效：预训练数据截止2023年12月

基准测试

预训练模型表现

多语言能力（MMLU 5样本）

责任与安全

三重保障策略

1. 开发者定制：支持构建符合目标场景的安全体验
2. 对抗防护：防范恶意用户滥用
3. 社区防护：预防模型误用

关键风险防控

• 生化武器：专项测试评估恶意行为增强可能性
• 儿童安全：专家红队测试多语言场景风险
• 网络安全：评估自主代理执行复杂攻击能力

社区资源

• 责任使用指南
• 漏洞赏金计划
• 开源安全工具PurpleLlama

伦理考量

Llama 3.1秉持开放、包容、有益的核心价值观，但需注意：

• 输出结果可能存在不可预测的偏差或不准确性
• 部署前需进行应用场景专项安全测试
• 开发者应建立系统级防护措施

（完整伦理声明参见责任使用指南）