模型信息

Meta Llama 3.1多语言大语言模型（LLM）系列包含8B、70B和405B三种规模的预训练及指令调优生成模型（文本输入/输出）。Llama 3.1纯文本指令调优模型（8B/70B/405B）专为多语言对话场景优化，在行业常见基准测试中超越多数开源与闭源聊天模型。

开发方：Meta
架构特性：

• 自回归语言模型，采用优化Transformer架构
• 调优版本通过监督微调（SFT）和人类反馈强化学习（RLHF）对齐人类偏好
• 支持128k上下文长度
• 全系列采用分组查询注意力（GQA）机制

支持语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语
发布日期：2024年7月23日
许可协议：Llama 3.1社区许可证（自定义商业许可）
技术文档：模型README | 应用指南

应用场景

目标用途：

• 商业与研究场景的多语言应用
• 指令调优模型适用于对话助手
• 预训练模型可适配各类文本生成任务
• 支持通过模型输出改进其他模型（合成数据生成/蒸馏等）

限制范围：

• 违反法律法规的使用（含贸易合规）
• 超出《可接受使用政策》的行为
• 非支持语言的未受控使用（开发者需自行确保安全性）

硬件与训练

训练设施：

• 定制训练库 + Meta自建GPU集群
• 累计消耗3930万H100-80GB显卡小时（单卡TDP 700W）

碳排放：

• 基于位置的训练碳排放总量：11,390吨CO2当量
• 市场调节排放量：0吨（Meta自2020年起实现全球运营净零排放）

训练数据

• 预训练数据：约15万亿token公开数据（截止2023年12月）
• 微调数据：公开指令数据集 + 超2500万合成生成样本

基准表现

预训练模型

指令调优模型

工具调用支持

Llama 3.1支持多种工具调用格式，可通过Transformers的聊天模板实现。典型工作流：

1. 定义工具函数（如天气查询）
2. 构建对话消息并应用模板
3. 处理模型生成的工具调用请求
4. 返回工具执行结果继续对话

# 示例：天气查询工具调用
def get_temperature(location: str) -> float:
    """获取指定城市当前温度"""
    return 22.0  # 实际应接入真实API

messages = [
    {"role": "system", "content": "天气查询助手"},
    {"role": "user", "content": "巴黎现在多少度？"}
]
inputs = tokenizer.apply_chat_template(messages, tools=[get_temperature], ...)

安全与责任

三层防护策略：

1. 开发者定制：支持构建符合目标场景的安全体验
2. 对抗防护：防范恶意用户滥用
3. 社区保护：提供防误用工具链

关键措施：

• 安全微调数据：结合人工标注与合成数据
• 拒绝机制优化：改进敏感请求的拒绝话术
• 系统级防护：默认集成Llama Guard 3、Prompt Guard等安全组件

专项风险评估：

• 生化武器知识扩散
• 儿童安全内容
• 网络攻击辅助能力

社区资源：

• 输出反馈机制
• 漏洞赏金计划
• Purple Llama开源工具

伦理考量

Llama 3.1秉持开放、包容、有益的核心价值观，但需注意：

• 可能产生不准确/偏见/冒犯性内容
• 未覆盖所有风险场景的测试
• 部署前需进行应用场景专项安全测试

建议开发者参考：

• 负责任使用指南
• 信任与安全解决方案
• 模型文档