---

语言:

• 英语
• 德语
• 法语
• 意大利语
• 葡萄牙语
• 印地语
• 西班牙语
• 泰语 库名称: transformers 管道标签: 图像文本到文本 标签:
• facebook
• meta
• pytorch
• llama
• llama-3
• r1
• deepseek
• 推理
• 蒸馏
• deepseek r1 小部件:
• 示例标题: 洛可可艺术 消息:

  • 角色: 用户 内容:

    • 类型: 文本 文本: 这件作品属于哪个时代？请详细描述这个时代。
    • 类型: 图像网址 图像网址: 网址: >- https://huggingface.co/datasets/huggingface/release-assets/resolve/main/rococo.jpg

  • 角色: 助手 内容: > 这件作品描绘了一位穿着红色连衣裙的女性，周围环绕着金色和白色的华丽细节。女性被描绘在半空中，双臂伸展，膝盖弯曲。她右手握着一束花，左手拿着一个水果。

    画的背景是淡蓝色的天空和粉色的云彩，女性周围还有一些粉色的花朵和绿色的叶子。整幅画的氛围充满了欢乐和庆祝，仿佛女性在跳舞或庆祝什么。

    这件作品属于洛可可时代，这是一种18世纪在欧洲兴起的艺术和建筑风格。洛可可风格的特点是使用柔和的色彩、曲线和华丽细节。它在法国国王路易十五统治期间（1715年至1774年）流行起来。

• 示例标题: 图表理解 消息:

  • 角色: 用户 内容:

    • 类型: 文本 文本: 根据这张图表，干旱发生在哪些地区？
    • 类型: 图像网址 图像网址: 网址: >- https://huggingface.co/datasets/huggingface/release-assets/resolve/main/weather_events.png

  • 角色: 助手 内容: >

    2016年的干旱地区

    根据图表，2016年经历严重干旱的地区包括:

    • 非洲东部和南部: 该地区受到干旱的严重影响，农业和水资源受到重大冲击。
    • 非洲西部和南部: 该地区也发生了干旱，导致粮食不安全和其他挑战。

    这些地区在2016年特别容易受到干旱的影响，凸显了有效的水资源管理策略和气候适应措施的必要性。

• 示例标题: 文档问答 消息:

  • 角色: 用户 内容:

    • 类型: 文本 文本: >- 从发票日期到到期日需要多长时间？请简洁回答。
    • 类型: 图像网址 图像网址: 网址: >- https://huggingface.co/datasets/huggingface/release-assets/resolve/main/invoice.png

  • 角色: 助手 内容: > 要确定发票日期和到期日之间的时间差，我们需要计算这两个日期之间的天数。

    发票日期: 2019年2月11日 到期日: 2019年2月26日

    步骤1: 计算天数差

    2月26日 - 2月11日 = 15天

    因此，发票日期和到期日之间的时间差是15天。 许可证: llama3.2 额外授权提示: "### LLAMA 3.2 社区许可协议\n\nLlama 3.2版本发布日期: 2024年9月25日\n\n“协议”指此处规定的使用、复制、分发和修改Llama材料的条款和条件。\n\n“文档”指Meta在https://llama.meta.com/doc/overview上分发的Llama 3.2的规格、手册和文档。\n\n“被许可方”或“您”指您、您的雇主或任何其他个人或实体（如果您代表该个人或实体签订本协议），根据适用法律、规则或法规达到提供法律同意的年龄，并且有法律权限约束您的雇主或该个人或实体（如果您代表他们签订本协议）。\n\n“Llama 3.2”指基础大语言模型和软件及算法，包括机器学习模型代码、训练模型权重、推理代码、训练代码、微调代码以及Meta在https://www.llama.com/llama-downloads上分发的上述内容的其他元素。\n\n“Llama材料”指本协议下提供的Meta专有的Llama 3.2和文档（或其任何部分）的统称。\n\n“Meta”或“我们”指Meta Platforms Ireland Limited（如果您位于或，如果是实体，您的主要营业地点位于欧洲经济区或瑞士）和Meta Platforms, Inc.（如果您位于欧洲经济区或瑞士之外）。\n\n通过点击下方的“我接受”或使用或分发Llama材料的任何部分或元素，您同意受本协议约束。\n\n1. 许可权利和再分发。\na. 权利授予。根据Meta在Llama材料中体现的知识产权或其他权利，授予您非排他性、全球性、不可转让且免版税的有限许可，以使用、复制、分发、复制、创建衍生作品和修改Llama材料。\nb. 再分发和使用。\ni. 如果您分发或提供Llama材料（或其任何衍生作品），或包含其中任何部分的产品或服务（包括另一个AI模型），您应（A）随Llama材料提供本协议的副本；（B）在相关网站、用户界面、博客文章、关于页面或产品文档中显著显示“Built with Llama”。如果您使用Llama材料或其输出或结果来创建、训练、微调或以其他方式改进AI模型，并将其分发或提供，您还应在任何此类AI模型名称的开头包含“Llama”。\nii. 如果您从被许可方处接收Llama材料或其任何衍生作品作为集成终端用户产品的一部分，则本协议第2条不适用于您。\niii. 您必须在分发的所有Llama材料副本中保留以下归属声明，作为此类副本的一部分在“通知”文本文件中分发：“Llama 3.2根据Llama 3.2社区许可协议授权，版权所有© Meta Platforms, Inc. 保留所有权利。”\niv. 您对Llama材料的使用必须遵守适用法律和法规（包括贸易合规法律和法规），并遵守Llama材料的可接受使用政策（可在https://www.llama.com/llama3_2/use-policy获取），该政策通过引用并入本协议。\n\n2. 附加商业条款。如果在Llama 3.2版本发布日期，由被许可方或其关联公司提供的产品或服务的月活跃用户在前一个日历月超过7亿月活跃用户，您必须向Meta申请许可，Meta可自行决定是否授予您许可，除非Meta明确授予您此类权利，否则您无权行使本协议下的任何权利。\n3. 免责声明。除非适用法律要求，Llama材料及其任何输出和结果均按“原样”提供，不提供任何形式的保证，Meta否认所有明示或暗示的保证，包括但不限于所有权、不侵权、适销性或特定用途适用性的保证。您全权负责确定使用或再分发Llama材料的适当性，并承担与使用Llama材料及其任何输出和结果相关的任何风险。\n4. 责任限制。在任何情况下，Meta或其关联公司均不对因本协议引起的任何理论下的责任负责，无论是合同、侵权、疏忽、产品责任或其他原因，对于任何利润损失或任何间接、特殊、后果性、附带、示范性或惩罚性损害赔偿，即使Meta或其关联公司已被告知此类损害的可能性。\n5. 知识产权。\na. 本协议未授予任何商标许可，在与Llama材料相关的使用中，Meta和被许可方均不得使用对方或其关联公司拥有或关联的任何名称或标记，除非为合理和惯常的描述和再分发Llama材料所需或本第5(a)条所述。Meta特此授予您使用“Llama”（“标记”）的许可，仅用于遵守第1.b.i条最后一句话的要求。您将遵守Meta的品牌指南（当前可在https://about.meta.com/brand/resources/meta/company-brand/获取）。您使用标记所产生的所有商誉将归属于Meta。\nb. 在Meta对Llama材料及Meta或其代表制作的衍生作品的所有权的前提下，对于您制作的任何衍生作品和修改，您和Meta之间，您是并将继续是此类衍生作品和修改的所有者。\nc. 如果您对Meta或任何实体（包括诉讼中的交叉索赔或反诉）提起诉讼或其他程序，指控Llama材料或Llama 3.2的输出或结果或其任何部分构成对您拥有或可许可的知识产权或其他权利的侵权，则本协议下授予您的所有许可应自该诉讼或索赔提交或提起之日起终止。您将赔偿并使Meta免受因您使用或分发Llama材料而引起的任何第三方索赔的损害。\n6. 期限和终止。本协议的期限自您接受本协议或访问Llama材料之日起开始，并将持续完全有效，直至根据本协议的条款和条件终止。如果您违反本协议的任何条款或条件，Meta可以终止本协议。本协议终止后，您应删除并停止使用Llama材料。第3、4和7条在本协议终止后仍然有效。\n7. 适用法律和管辖权。本协议将根据加利福尼亚州法律解释和执行，不考虑法律冲突原则，《联合国国际货物销售合同公约》不适用于本协议。加利福尼亚州的法院对本协议引起的任何争议具有专属管辖权。\n### Llama 3.2 可接受使用政策\nMeta致力于促进其工具和功能的安全和公平使用，包括Llama 3.2。如果您访问或使用Llama 3.2，您同意本可接受使用政策（“政策”）。本政策的最新版本可在https://www.llama.com/llama3_2/use-policy找到。\n#### 禁止用途\n我们希望每个人都能安全且负责任地使用Llama 3.2。您同意不会使用或允许他人使用Llama 3.2来：\n1. 违反法律或他人权利，包括：\n 1. 参与、推广、生成、促成、鼓励、计划、煽动或进一步非法或不当活动或内容，例如：\n 1. 暴力或恐怖主义\n 2. 对儿童的剥削或伤害，包括招揽、创建、获取或传播儿童剥削内容或未报告儿童性虐待材料\n 3. 人口贩卖、剥削和性暴力\n 4. 向未成年人非法分发信息或材料，包括淫秽材料，或未按要求对此类信息或材料进行年龄限制\n 5. 性招揽\n 6. 任何其他犯罪活动\n 1. 参与、推广、煽动或便利对个人或群体的骚扰、虐待、威胁或欺凌\n 2. 参与、推广、煽动或便利在就业、就业福利、信贷、住房、其他经济利益或其他基本商品和服务中的歧视或其他非法或有害行为\n 3. 未经授权或无执照从事任何职业，包括但不限于金融、法律、医疗/健康或相关专业实践\n 4. 收集、处理、披露、生成或推断个人的私人或敏感信息，包括个人身份、健康或人口统计信息，除非您已根据适用法律获得这样做的权利\n 5. 参与或促成任何侵犯、盗用或以其他方式侵犯第三方权利的行为或生成任何内容，包括使用Llama材料的任何产品或服务的输出或结果\n 6. 创建、生成或促成恶意代码、恶意软件、计算机病毒或任何可能禁用、过载、干扰或损害网站或计算机系统正常运行、完整性、操作或外观的行为\n 7. 参与任何行为，或促成任何行为，以故意规避或移除使用限制或其他安全措施，或启用被Meta禁用的功能\n2. 参与、推广、煽动、便利或协助计划或开发可能导致个人死亡或身体伤害的活动，包括与以下内容相关的Llama 3.2使用：\n 8. 军事、战争、核工业或应用、间谍活动、用于受美国国务院《国际武器贸易条例》（ITAR）或1989年《美国生物武器反恐法案》或1997年《化学武器公约实施法案》管制的材料或活动\n 9. 枪支和非法武器（包括武器开发）\n 10. 非法毒品和受管制物质\n 11. 关键基础设施、交通技术或重型机械的操作\n 12. 自残或伤害他人，包括自杀、自残和饮食失调\n 13. 任何旨在煽动或促进暴力、虐待或对个人造成身体伤害的内容\n3. 故意欺骗或误导他人，包括与以下内容相关的Llama 3.2使用：\n 14. 生成、推广或进一步欺诈或虚假信息的创建或推广\n 15. 生成、推广或进一步诽谤性内容，包括诽谤性陈述、图像或其他内容的创建\n 16. 生成、推广或进一步分发垃圾邮件\n 17. 未经同意、授权或合法权利冒充他人\n 18. 表示Llama 3.2或其输出是人工生成的\n 19. 生成或促成虚假在线互动，包括虚假评论和其他虚假在线互动手段\n4. 未向终端用户适当披露您的AI系统的任何已知危险\n5. 与旨在生成非法内容或从事非法或有害行为的第三方工具、模型或软件交互，和/或表示此类工具、模型或软件的输出与Meta或Llama 3.2相关联\n\n对于Llama 3.2中包含的任何多模态模型，如果您是居住在欧盟的个人或在欧盟设有主要营业地点的公司，则Llama 3.2社区许可协议第1(a)条下授予的权利不适用于您。此限制不适用于包含任何此类多模态模型的产品或服务的终端用户。\n\n请通过以下方式报告违反本政策的行为、软件“漏洞”或其他可能导致违反本政策的问题：\n\n* 报告模型问题：https://github.com/meta-llama/llama-models/issues\n* 报告模型生成的危险内容：developers.facebook.com/llama_output_feedback\n* 报告漏洞和安全问题：facebook.com/whitehat/info\n* 报告违反可接受使用政策或未经许可使用Llama 3.2的行为：LlamaUseReport@meta.com" 额外授权字段: 名字: 文本 姓氏: 文本 出生日期: 日期选择器 国家: 国家 所属机构: 文本 职位: 类型: 选择 选项:

    • 学生
    • 研究生
    • AI研究员
    • AI开发人员/工程师
    • 记者
    • 其他 地理位置: IP定位 通过点击下方的提交按钮，我接受许可协议的条款，并确认我提供的信息将根据Meta隐私政策进行收集、存储、处理和共享: 复选框 额外授权描述: >- 您提供的信息将根据Meta隐私政策进行收集、存储、处理和共享。 额外授权按钮内容: 提交 额外授权欧盟不允许: true

---

模型信息

语言模型已替换为deepseek-ai/DeepSeek-R1-Distill-Llama-8B

Llama 3.2-Vision多模态大语言模型（LLMs）是一系列预训练和指令调优的图像推理生成模型，包含11B和90B两种规模（文本+图像输入/文本输出）。Llama 3.2-Vision指令调优模型针对视觉识别、图像推理、图像描述和回答关于图像的一般问题进行了优化。这些模型在常见的行业基准测试中表现优于许多开源和闭源多模态模型。

模型开发者: Meta

模型架构: Llama 3.2-Vision基于Llama 3.1纯文本模型构建，后者是一种使用优化Transformer架构的自回归语言模型。调优版本使用监督微调（SFT）和人类反馈强化学习（RLHF）来与人类对帮助性和安全性的偏好对齐。为了支持图像识别任务，Llama 3.2-Vision模型使用了一个单独训练的图像适配器，该适配器与预训练的Llama 3.1语言模型集成。适配器由一系列交叉注意力层组成，将图像编码器的表示输入核心LLM。

	训练数据	参数	输入模态	输出模态	上下文长度	GQA	数据量	知识截止日期
Llama 3.2-Vision	(图像, 文本)对	11B (10.6)	文本 + 图像	文本	128k	是	6B (图像, 文本)对	2023年12月
Llama 3.2-Vision	(图像, 文本)对	90B (88.8)	文本 + 图像	文本	128k	是	6B (图像, 文本)对	2023年12月

支持的语言: 对于纯文本任务，英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语是官方支持的语言。Llama 3.2的训练语言范围比这8种支持的语言更广泛。请注意，对于图像+文本应用，英语是唯一支持的语言。

开发者可以针对这些支持语言之外的语言对Llama 3.2模型进行微调，前提是他们遵守Llama 3.2社区许可和可接受使用政策。开发者始终需要确保他们的部署（包括涉及其他语言的部署）是安全且负责任地完成的。

Llama 3.2模型家族: 标记计数仅指预训练数据。所有模型版本都使用分组查询注意力（GQA）以提高推理可扩展性。

模型发布日期: 2024年9月25日

状态: 这是一个基于离线数据集训练的静态模型。未来可能会发布改进模型能力和安全性的版本。

许可证: Llama 3.2的使用受Llama 3.2社区许可（一种定制的商业许可协议）约束。

反馈: 关于模型的问题或意见可以发送到模型的README中提供的反馈渠道。有关生成参数的技术信息以及如何在应用中使用Llama 3.2-Vision的更多信息，请访问此处。

预期用途

预期用例: Llama 3.2-Vision适用于商业和研究用途。指令调优模型适用于视觉识别、图像推理、图像描述和带有图像的助手式聊天，而预训练模型可以适应各种图像推理任务。此外，由于Llama 3.2-Vision能够接受图像和文本作为输入，其他用例可能包括：

1. 视觉问答（VQA）和视觉推理：想象一台机器可以查看图片并理解您关于图片的问题。
2. 文档视觉问答（DocVQA）：想象一台计算机可以理解文档（如地图或合同）的文本和布局，然后直接从图像中回答问题。
3. 图像描述：图像描述弥合了视觉和语言之间的差距，提取细节、理解场景，然后创作一两句话来讲述故事。
4. 图像-文本检索：图像-文本检索就像图像及其描述的媒人。类似于搜索引擎，但能够理解图片和文字。
5. 视觉定位：视觉定位就像连接我们所见和所说的点。它是关于理解语言如何引用图像的特定部分，使AI模型能够基于自然语言描述精确定位对象或区域。

Llama 3.2模型集合还支持利用其模型的输出来改进其他模型，包括合成数据生成和蒸馏。Llama 3.2社区许可允许这些用例。

范围之外: 以任何违反适用法律或法规（包括贸易合规法律）的方式使用。以任何其他被可接受使用政策和Llama 3.2社区许可禁止的方式使用。在本模型卡中明确提及的支持语言之外的语言中使用。

使用方法

此存储库包含两个版本的Llama-3.2-11B-Vision-Instruct，一个用于transformers，另一个用于原始的llama代码库。

使用transformers

从transformers >= 4.45.0开始，您可以使用包含可以查询的图像的消息运行推理。

确保通过pip install --upgrade transformers更新您的transformers安装。

import requests
import torch
from PIL import Image
from transformers import MllamaForConditionalGeneration, AutoProcessor

model_id = "meta-llama/Llama-3.2-11B-Vision-Instruct"

model = MllamaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
processor = AutoProcessor.from_pretrained(model_id)

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
image = Image.open(requests.get(url, stream=True).raw)

messages = [
    {"role": "user", "content": [
        {"type": "image"},
        {"type": "text", "text": "If I had to write a haiku for this one, it would be: "}
    ]}
]
input_text = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(image, input_text, return_tensors="pt").to(model.device)

output = model.generate(**inputs, max_new_tokens=30)
print(processor.decode(output[0]))

使用llama

请遵循存储库中的说明。

要下载原始检查点，您可以使用huggingface-cli如下：

huggingface-cli download meta-llama/Llama-3.2-11B-Vision-Instruct --include "original/*" --local-dir Llama-3.2-11B-Vision-Instruct

硬件和软件

训练因素: 我们使用自定义训练库、Meta自建的GPU集群和生产基础设施进行预训练。微调、标注和评估也在生产基础设施上进行。

训练能源使用: 训练在H100-80GB（TDP为700W）类型的硬件上累计使用了2.02M GPU小时的计算，如下表所示。训练时间是训练每个模型所需的总GPU时间，功耗是每个GPU设备的峰值功率容量，根据电源使用效率进行调整。

训练温室气体排放: 基于位置的温室气体排放总量估计为584吨CO2eq。自2020年以来，Meta在其全球运营中保持了净零温室气体排放，并匹配了100%的电力使用与可再生能源，因此训练的总市场温室气体排放为0吨CO2eq。

	训练时间（GPU小时）	训练功耗（W）	训练基于位置的温室气体排放（吨CO2eq）	训练市场温室气体排放（吨CO2eq）
Llama 3.2-vision 11B	阶段1预训练: 147K H100小时 阶段2退火: 98K H100小时 SFT: 896 H100小时 RLHF: 224 H100小时	700	71	0
Llama 3.2-vision 90B	阶段1预训练: 885K H100小时 阶段2退火: 885K H100小时 SFT: 3072 H100小时 RLHF: 2048 H100小时	700	513	0
总计	2.02M		584	0

用于确定训练能源使用和温室气体排放的方法可以在此处找到。由于Meta公开了这些模型，其他人不会产生训练能源使用和温室气体排放。

训练数据

概述: Llama 3.2-Vision在6B图像和文本对上进行了预训练。指令调优数据包括公开可用的视觉指令数据集，以及超过3M个合成生成的示例。

数据新鲜度: 预训练数据的截止日期为2023年12月。

基准测试 - 图像推理

在本节中，我们报告了Llama 3.2-Vision模型在标准自动基准测试中的结果。对于所有这些评估，我们使用了内部评估库。

基础预训练模型

类别	基准测试	# 样本	指标	Llama 3.2 11B	Llama 3.2 90B
图像理解	VQAv2 (val)	0	准确率	66.8	73.6
	Text VQA (val)	0	宽松准确率	73.1	73.5
	DocVQA (val, unseen)	0	ANLS	62.3	70.7
视觉推理	MMMU (val, 0-shot)	0	微平均准确率	41.7	49.3
	ChartQA (test)	0	准确率	39.4	54.2
	InfographicsQA (val, unseen)	0	ANLS	43.2	56.8
	AI2 Diagram (test)	0	准确率	62.4	75.3

指令调优模型

模态	能力	基准测试	# 样本	指标	Llama 3.2 11B	Llama 3.2 90B
图像	大学水平问题和数学推理	MMMU (val, CoT)	0	微平均准确率	50.7	60.3
		MMMU-Pro, Standard (10 opts, test)	0	准确率	33.0	45.2
		MMMU-Pro, Vision (test)	0	准确率	23.7	33.8
		MathVista (testmini)	0	准确率	51.5	57.3
	图表和图示理解	ChartQA (test, CoT)	0	宽松准确率	83.4	85.5
		AI2 Diagram (test)	0	准确率	91.1	92.3
		DocVQA (test)	0	ANLS	88.4	90.1
	通用视觉问答	VQAv2 (test)	0	准确率	75.2	78.1
文本	通用	MMLU (CoT)	0	Macro_avg/acc	73.0	86.0
	数学	MATH (CoT)	0	Final_em	51.9	68.0
	推理	GPQA	0	准确率	32.8	46.7
	多语言	MGSM (CoT)	0	em	68.9	86.9

责任与安全

作为我们负责任发布方法的一部分，我们遵循了三管齐下的策略来管理信任和安全风险：

1. 使开发者能够为其目标受众和Llama支持的用例部署有帮助、安全和灵活的体验。
2. 保护开发者免受旨在利用Llama能力造成潜在伤害的恶意用户的侵害。
3. 为社区提供保护，帮助防止我们的模型被滥用。

负责任部署

方法: Llama是一种基础技术，设计用于各种用例，Meta的Llama模型如何负责任部署的示例可以在我们的社区故事网页中找到。我们的方法是构建最有帮助的模型，使世界受益于技术力量，通过对通用用例的标准危害集进行模型安全对齐。开发者随后可以根据自己的用例定制安全性，定义自己的政策，并在其Llama系统中部署必要的保障措施。Llama 3.2的开发遵循了我们的负责任使用指南中概述的最佳实践，您可以参考负责任使用指南了解更多信息。

Llama 3.2 Instruct

目标: 我们进行安全微调的主要目标是为研究社区提供一个有价值的资源，用于研究安全微调的鲁棒性，并为开发者提供一个现成的、安全且强大的模型，用于各种应用，以减少开发者部署安全AI系统的工作量。我们实施了与Llama 3相同的安全缓解措施，您可以在Llama 3论文中了解更多。

微调数据: 我们采用多方面的数据收集方法，结合来自供应商的人工生成数据和合成数据，以减轻潜在的安全风险。我们开发了许多基于大语言模型（LLM）的分类器，使我们能够精心选择高质量的提示和响应，增强数据质量控制。

拒绝和语气: 基于我们在Llama 3中开始的工作，我们非常重视模型对良性提示的拒绝以及拒绝语气。我们在安全数据策略中包括边界和对抗性提示，并修改了安全数据响应以遵循语气指南。

Llama 3.2 系统

安全作为系统: 大语言模型，包括Llama 3.2，并非设计为孤立部署，而应作为具有额外安全护栏的整体AI系统的一部分部署。开发者应在构建代理系统时部署系统保障措施。保障措施是实现正确的帮助性-安全性对齐以及减轻系统和模型与外部工具的任何集成中固有的安全和安全风险的关键。作为我们负责任发布方法的一部分，我们为社区提供了保障措施，开发者应与Llama模型或其他LLMs一起部署，包括Llama Guard、Prompt Guard和Code Shield。我们所有的参考实现演示默认包含这些保障措施，因此开发者可以立即受益于系统级安全性。

新能力和用例

技术进步: Llama发布通常会引入需要特定考虑的新能力，除了通常适用于所有生成式AI用例的最佳实践。对于Llama 3.2也支持的先前发布能力，请参阅Llama 3.1模型卡，因为相同的考虑也适用于此。

图像推理: Llama 3.2-Vision模型具有多模态（文本和图像）输入能力，支持图像推理应用。作为我们负责任发布过程的一部分，我们采取了专门措施，包括评估和缓解，以解决模型在图像中唯一识别个人的风险。与其他LLM风险一样，模型可能并不总是对对抗性提示具有鲁棒性，开发者应根据其应用评估识别和其他适用风险，并考虑在其系统中部署Llama Guard 3-11B-Vision或其他适当的缓解措施来检测和减轻此类风险。

评估

规模化评估: 我们构建了专门的对抗性评估数据集，并评估了由Llama模型和Purple Llama保障措施组成的系统，以过滤输入提示和输出响应。在上下文中评估应用非常重要，我们建议为您的用例构建专门的评估数据集。

红队测试: 我们进行了定期的红队测试，目的是通过对抗性提示发现风险，并利用这些发现改进我们的基准和安全调优数据集。我们早期与关键风险领域的主题专家合作，了解这些现实世界危害的性质以及此类模型可能如何导致社会意外伤害。基于这些对话，我们为红队制定了一系列对抗性目标，试图实现这些目标，例如提取有害信息或重新编程模型以潜在有害的方式行动。红队由网络安全、对抗性机器学习、负责任AI和完整性方面的专家组成，还包括具有特定地理市场完整性问题的多语言内容专家。

关键风险

除了上述安全工作外，我们还特别关注以下关键风险领域的测量和/或缓解：

1. CBRNE（化学、生物、放射、核和爆炸武器）: 对于Llama 3.1，为了评估与化学和生物武器扩散相关的风险，我们进行了提升测试，旨在评估使用Llama 3.1模型是否会显著增加恶意行为者计划或实施使用此类武器的攻击的能力。对于Llama 3.2-Vision模型，我们进行了额外的针对性评估，发现与Llama 3.1相比，由于其增加的图像理解能力，Llama 3.2不太可能提高科学能力。

2. 儿童安全: 儿童安全风险评估由专家团队进行，以评估模型产生可能导致儿童安全风险的输出的能力，并通过微调告知任何必要和适当的风险缓解措施。我们利用这些专家红队测试会话来扩展我们的评估基准覆盖范围，贯穿Llama 3模型开发。对于Llama 3，我们使用基于目标的方法进行了新的深入会话，以评估模型沿多个攻击向量的风险，包括Llama 3训练的其他语言。我们还与内容专家合作，进行红队测试练习，评估潜在违规内容，同时考虑市场特定的细微差别或经验。

3. 网络攻击: 对于Llama 3.1 405B，我们的网络攻击提升研究调查了LLMs是否可以在黑客任务中增强人类能力，无论是在技能水平还是速度方面。 我们的攻击自动化研究专注于评估LLMs在作为自主代理进行网络攻击操作时的能力，特别是在勒索软件攻击的背景下。此评估与之前将LLMs视为交互助手的研究不同。主要目标是评估这些模型是否可以在没有人工干预的情况下作为独立代理有效执行复杂的网络攻击。由于Llama 3.2的视觉能力通常与网络提升无关，我们认为为Llama 3.1进行的测试也适用于Llama 3.2。

社区

行业合作伙伴关系: 生成式AI安全需要专业知识和工具，我们相信开放社区的力量可以加速其进展。我们是开放联盟的活跃成员，包括AI联盟、Partnership on AI和MLCommons，积极贡献于安全标准化和透明度。我们鼓励社区采用像MLCommons概念验证评估这样的分类法，以促进安全和内容评估的协作和透明度。我们的Purple Llama工具是开源的，供社区使用，并广泛分布在包括云服务提供商在内的生态系统合作伙伴中。我们鼓励社区贡献我们的Github存储库。

资助: 我们还设立了Llama影响资助计划，以识别和支持Meta的Llama模型在教育、气候和开放创新三个类别中最具影响力的社会效益应用。从数百个申请中选出的20个决赛选手可以在此处找到。

报告: 最后，我们建立了一套资源，包括输出报告机制和漏洞赏金计划，以在社区的帮助下持续改进Llama技术。

伦理考虑和限制

价值观: Llama 3.2的核心价值观是开放、包容和帮助性。它旨在为每个人服务，并适用于广泛的用例。因此，它被设计为对许多不同背景、经验和观点的人开放。Llama 3.2以用户及其需求为出发点，不插入不必要的判断或规范性，同时反映理解即使在某些情况下可能看起来有问题内容在其他情况下也可以服务于有价值的目的。它尊重所有用户的尊严和自主权，特别是在推动创新和进步的自由思想和表达价值观方面。

测试: 但Llama 3.2是一项新技术，与任何新技术一样，其使用存在风险。迄今为止进行的测试并未涵盖也不可能涵盖所有场景。出于这些原因，与所有LLMs一样，Llama 3.2的潜在输出无法提前预测，模型在某些情况下可能会对用户提示产生不准确、有偏见或其他令人反感的响应。因此，在部署任何Llama 3.2模型应用之前