库名称：transformers
支持语言：

• 阿拉伯语
• 德语
• 英语
• 西班牙语
• 法语
• 印地语
• 印尼语
• 意大利语
• 葡萄牙语
• 泰语
• 菲律宾语
• 越南语
  基础模型：
• meta-llama/Llama-4-Maverick-17B-128E
  标签：
• facebook
• meta
• pytorch
• llama
• llama4
  许可证：其他
  许可证名称：llama4

模型信息

基于Llama构建
Llama 4系列模型是原生多模态AI模型，支持文本和多模态体验。这些模型采用混合专家架构（MoE），在文本和图像理解方面提供行业领先的性能。

Llama 4模型标志着Llama生态系统新时代的开始。我们发布了Llama 4系列中的两款高效模型：

• Llama 4 Scout：170亿参数，16位专家
• Llama 4 Maverick：170亿参数，128位专家

模型开发者：Meta

架构：Llama 4模型是自回归语言模型，采用混合专家架构（MoE），并通过早期融合实现原生多模态支持。

支持语言：阿拉伯语、英语、法语、德语、印地语、印尼语、意大利语、葡萄牙语、西班牙语、菲律宾语、泰语、越南语。

发布日期：2025年4月5日

状态：此为基于离线数据训练的静态模型。未来可能根据社区反馈发布优化版本。

许可证：自定义商业许可《Llama 4社区许可协议》，详见：许可证链接

反馈渠道：技术问题请参阅Llama README，应用开发指南见Llama食谱。

使用场景

适用场景：

• 商业与研究用途（多语言支持）
• 指令调优模型适用于聊天助手和视觉推理任务
• 预训练模型可用于自然语言生成
• 视觉优化：图像识别、推理、描述及问答
• 支持模型输出改进其他模型（如合成数据生成与蒸馏）

非适用场景：

• 违反法律法规或《可接受使用政策》的行为
• 超出本卡片明确支持的12种语言或能力范围的应用

注意事项：

1. 预训练涵盖200种语言，开发者可对额外语言微调（需遵守许可协议和安全规范）。
2. 图像理解测试上限为5张输入图像，超限使用需开发者自行风险评估。

使用教程

需安装transformers v4.51.0 或更高版本：

from transformers import AutoProcessor, Llama4ForConditionalGeneration  
import torch  

model_id = "meta-llama/Llama-4-Maverick-17B-128E-Instruct"  
processor = AutoProcessor.from_pretrained(model_id)  
model = Llama4ForConditionalGeneration.from_pretrained(  
    model_id,  
    attn_implementation="flex_attention",  
    device_map="auto",  
    torch_dtype=torch.bfloat16,  
)  

# 示例：多图像对比分析  
url1 = "https://example.com/rabbit.jpg"  
url2 = "https://example.com/cat_layout.png"  
messages = [{  
    "role": "user",  
    "content": [  
        {"type": "image", "url": url1},  
        {"type": "image", "url": url2},  
        {"type": "text", "text": "请描述这两张图像的异同点？"},  
    ]  
}]  

inputs = processor.apply_chat_template(messages, return_tensors="pt").to(model.device)  
outputs = model.generate(**inputs, max_new_tokens=256)  
print(processor.decode(outputs[0]))  

硬件与能耗

训练资源：

• 使用Meta定制GPU集群及生产基础设施
• 总训练能耗：738万GPU小时（H100-80GB，单卡功耗700W）

碳排放：

• 基于位置的训练碳排放：1,999吨CO2当量
• Meta自2020年起实现全球运营净零排放，市场基准碳排放为0吨

能耗计算方法学

训练数据

数据构成：

• 公开数据、授权数据及Meta产品数据（含社交媒体交互内容）
• Scout训练token量：约40万亿
• Maverick训练token量：约22万亿
• 数据截止日期：2024年8月

性能基准

预训练模型表现

指令调优模型表现

量化支持

• Scout：支持BF16权重及运行时int4量化
• Maverick：提供BF16和FP8量化版本（FP8量化后单台H100 DGX可部署）

安全措施

三层防护策略：

1. 模型级调优：通过人工标注与合成数据降低安全风险，优化拒绝响应语气
2. 系统级防护：集成Llama Guard等工具过滤输入/输出
3. 社区协作：开放漏洞报告与漏洞赏金计划

关键风险管控：

1. 生化武器防范：专家评估模型是否可能被用于攻击计划
2. 儿童安全：扩展多语言/多图像场景的儿童安全评估
3. 网络安全：验证模型是否可能自动化网络攻击（评估显示无重大风险）

社区生态

• 参与AI Alliance等组织推动安全标准化
• 设立Llama影响基金支持教育/气候/创新项目
• 开源安全工具见PurpleLlama仓库

限制声明

Llama 4作为新技术存在不可预测的输出风险。开发者需根据具体应用场景进行安全测试与调优，并参考：

• 开发者防护指南
• Llama防护方案
• 入门资源