模型信息

Llama 3.2多语言大语言模型(LLM)系列包含1B和3B参数的预训练及指令调优生成模型(文本输入/输出)。该系列指令调优的纯文本模型针对多语言对话场景进行了优化，包括代理检索和摘要任务。在常见行业基准测试中，其表现优于多数开源和闭源聊天模型。

开发方: Meta
架构: Llama 3.2采用优化Transformer架构的自回归语言模型。调优版本通过监督微调(SFT)和人类反馈强化学习(RLHF)实现与人类偏好对齐。

支持语言: 官方支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。实际训练涵盖更广语言范围，开发者可在遵守许可前提下微调其他语言模型。

发布时间: 2024年9月25日
状态: 基于离线数据训练的静态模型
许可: Llama 3.2社区许可

使用方式

Transformers调用

import torch
from transformers import pipeline

model_id = "meta-llama/Llama-3.2-1B"
pipe = pipeline("text-generation", model=model_id, torch_dtype=torch.bfloat16, device_map="auto")
pipe("生命的意义是")

原始代码库调用

需遵循仓库指南，下载命令示例：

huggingface-cli download meta-llama/Llama-3.2-1B --include "original/*" --local-dir Llama-3.2-1B

训练与能耗

硬件: 使用Meta定制GPU集群
能耗: 累计消耗91.6万H100-80GB GPU小时
碳排放: 基于位置的碳排放量240吨CO2当量(市场基准为0，因Meta已实现运营净零排放)

量化方案

采用三阶段量化：

1. Transformer块线性层：4位分组权重+8位动态激活量化
2. 分类层：8位逐通道权重+8位动态激活量化
3. 嵌入层：8位逐通道量化

基准测试

英文表现

多语言表现(MMLU 5-shot)

安全部署

采用三重策略：

1. 支持开发者构建安全应用
2. 防范对抗性滥用
3. 提供社区防护机制

关键风险管控:

• 生化武器扩散风险评估
• 儿童安全专家红队测试
• 网络攻击能力研究

伦理考量

核心价值: 开放、包容、有益
注意事项:

• 输出可能存在不可预测的偏差
• 部署前需进行应用场景专项安全测试
• 建议参考负责任使用指南

（注：本摘要已根据中文阅读习惯优化表述，保留所有关键数据指标及技术细节，压缩重复性表格内容，突出核心信息。完整测试数据请参阅原文档表格部分。）