🚀 Llama 4模型

Llama 4是一系列原生多模态AI模型，支持文本和多模态交互。这些模型采用混合专家架构，在文本和图像理解方面表现卓越，开启了Llama生态系统的新纪元。

🚀 快速开始

安装依赖

请确保你已安装transformers v4.51.0，或者使用以下命令进行升级：

pip install -U transformers

使用示例

from transformers import AutoProcessor, Llama4ForConditionalGeneration
import torch

model_id = "meta-llama/Llama-4-Maverick-17B-128E-Instruct"

processor = AutoProcessor.from_pretrained(model_id)
model = Llama4ForConditionalGeneration.from_pretrained(
    model_id,
    attn_implementation="flex_attention",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/datasets/cat_style_layout.png"
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": url1},
            {"type": "image", "url": url2},
            {"type": "text", "text": "Can you describe how these two images are similar, and how they differ?"},
        ]
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
)

response = processor.batch_decode(outputs[:, inputs["input_ids"].shape[-1]:])[0]
print(response)
print(outputs[0])

✨ 主要特性

• 原生多模态：支持文本和图像输入，实现更丰富的交互体验。
• 混合专家架构：在文本和图像理解方面表现卓越，提供行业领先的性能。
• 多语言支持：支持阿拉伯语、英语、法语、德语、印地语、印尼语、意大利语、葡萄牙语、西班牙语、他加禄语、泰语和越南语等多种语言。
• 灵活的量化格式：提供4位和16位量化格式，支持不同硬件和应用场景。

📦 安装指南

请确保你已安装transformers v4.51.0，或者使用以下命令进行升级：

pip install -U transformers

💻 使用示例

基础用法

from transformers import AutoProcessor, Llama4ForConditionalGeneration
import torch

model_id = "meta-llama/Llama-4-Maverick-17B-128E-Instruct"

processor = AutoProcessor.from_pretrained(model_id)
model = Llama4ForConditionalGeneration.from_pretrained(
    model_id,
    attn_implementation="flex_attention",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/datasets/cat_style_layout.png"
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": url1},
            {"type": "image", "url": url2},
            {"type": "text", "text": "Can you describe how these two images are similar, and how they differ?"},
        ]
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
)

response = processor.batch_decode(outputs[:, inputs["input_ids"].shape[-1]:])[0]
print(response)
print(outputs[0])

📚 详细文档

模型信息

训练数据

Llama 4 Scout在约40万亿个多模态数据令牌上进行预训练，Llama 4 Maverick在约22万亿个多模态数据令牌上进行预训练。数据来源包括公开可用数据、授权数据以及Meta产品和服务中的信息，如Instagram和Facebook上的公开帖子，以及用户与Meta AI的交互。预训练数据截止到2024年8月。

基准测试

预训练模型

指令调优模型

^MMMU Pro的报告数据是标准任务和视觉任务的平均值

量化

Llama 4 Scout模型以BF16权重形式发布，支持即时int4量化，可在单个H100 GPU上运行。Llama 4 Maverick模型同时提供BF16和FP8量化权重，FP8量化权重可在单个H100 DGX主机上运行，同时保持模型质量。我们还提供即时int4量化代码，以减少性能损失。

安全保障

模型级微调

• 微调数据：采用多方面的数据收集方法，结合供应商提供的人工生成数据和合成数据，使用基于大语言模型的分类器选择高质量的提示和响应，提高数据质量。
• 拒绝率：在Llama 3的基础上，降低模型对良性提示的拒绝率。在安全数据策略中纳入边界和对抗性提示，并修改安全数据响应以遵循语气指南。
• 语气：改进拒绝语气，使模型回复更自然，去除说教和过度道德化的语言，纠正格式问题。
• 系统提示：Llama 4更易于引导，通过有效的系统提示可以减少错误拒绝和模板化语言，提高对话性和格式使用的准确性。

Llama 4系统保护

提供Llama Guard、Prompt Guard和Code Shield等系统级保护措施，开发者可将其与Llama模型或其他大语言模型一起部署。所有参考实现演示默认包含这些保护措施，开发者可直接受益于系统级安全。

评估

• 常见用例评估：评估常见应用场景（如聊天机器人、视觉问答）的安全风险，构建对抗性评估数据集，评估由Llama模型和Llama Guard 3组成的系统对输入提示和输出响应的过滤能力。
• 能力评估：评估Llama模型特定能力的漏洞，构建专门的基准测试，如长上下文、多语言、编码或记忆能力。

红队测试

定期进行红队测试，通过对抗性提示发现风险，并将经验用于改进基准测试和安全调优数据集。与关键风险领域的专家合作，确定红队的对抗性目标。

关键风险

• CBRNE（化学、生物、放射、核和爆炸材料）帮助：评估Llama 4在化学和生物武器扩散方面的风险，进行额外的红队测试和内容政策违规评估。
• 儿童安全：在模型预训练阶段使用数据过滤等方法降低儿童安全风险，由专家评估模型输出是否存在儿童安全风险，并据此进行额外的模型微调。
• 网络攻击支持：评估Llama 4是否具备支持灾难性网络攻击的能力，进行威胁建模，测试模型在自动化网络攻击、识别和利用安全漏洞等方面的能力。

社区

• 开放社区贡献：积极参与开放联盟，如AI Alliance、Partnership on AI和MLCommons，为安全标准化和透明度做出贡献。鼓励社区采用MLCommons概念验证评估等分类法，促进安全和内容评估的协作与透明。
• Llama影响赠款计划：设立Llama影响赠款计划，支持Meta Llama模型在教育、气候和开放创新等领域的应用。
• 资源支持：提供输出报告机制和漏洞赏金计划，借助社区力量不断改进Llama技术。

🔧 技术细节

硬件和软件

• 训练因素：使用自定义训练库、Meta定制的GPU集群和生产基础设施进行预训练。微调、量化、标注和评估也在生产基础设施上进行。
• 训练能源使用：模型预训练在H100 - 80GB（TDP为700W）类型的硬件上累计使用了738万个GPU小时的计算资源。
• 训练温室气体排放：基于位置的估计总温室气体排放量为1999吨CO2eq。自2020年以来，Meta在全球运营中保持净零温室气体排放，并使用100%的清洁和可再生能源，因此基于市场的总温室气体排放量为0吨CO2eq。

训练能源使用和温室气体排放计算方法

具体方法见此处。由于Meta公开发布这些模型，其他用户不会产生训练能源使用和温室气体排放。

📄 许可证

本模型使用自定义商业许可证，即Llama 4社区许可证协议，详情见此处。

⚠️ 重要提示

• Llama 4是一项新技术，使用过程中可能存在风险。测试无法覆盖所有场景，模型可能会产生不准确或其他令人反感的响应。在部署应用前，开发者应针对具体应用进行安全测试和调优。
• 本4位模型目前仅支持Unsloth！请参阅我们的集合获取包括4位和16位格式的Llama 4版本。

💡 使用建议

• 开发者可根据具体需求定制系统提示，以提高模型性能和响应质量。
• 建议为特定用例构建专门的评估数据集，以评估应用的安全性和性能。