模型信息

Llama 3.2-Vision多模态大语言模型（LLMs）系列包含11B和90B两种规模的预训练及指令调优图像推理生成模型（支持图像+文本输入/文本输出）。该系列指令调优模型针对视觉识别、图像推理、图像描述和图像问答任务进行了优化，在常见行业基准测试中表现优于多数开源和闭源多模态模型。

开发者：Meta
架构：基于纯文本模型Llama 3.1构建，采用自回归架构和优化Transformer结构。调优版本通过监督微调（SFT）和人类反馈强化学习（RLHF）实现与人类偏好的对齐。视觉能力通过独立训练的视觉适配器实现，该适配器由交叉注意力层组成，可将图像编码器表征注入核心LLM。

支持语言：纯文本任务支持英、德、法、意、葡、印地、西、泰8种语言。图文任务仅支持英语。开发者可在遵守许可证前提下微调其他语言。

发布时间：2024年9月25日
许可协议：Llama 3.2社区许可证
反馈渠道：可通过GitHub issues或专用表单提交。

应用场景

• 视觉问答（VQA）与推理
• 文档视觉问答（DocVQA）
• 图像描述生成
• 图文检索
• 视觉定位

使用方式

支持Transformers（>=4.45.0）和原生llama代码库调用。Transformers调用示例：

from transformers import MllamaForConditionalGeneration, AutoProcessor
model = MllamaForConditionalGeneration.from_pretrained("meta-llama/Llama-3.2-11B-Vision", torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained(model_id)
inputs = processor(image, prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=30)

硬件与能耗

• 总训练算力：200万H100 GPU小时（700W TDP）
• 碳排放：基于地理位置估算584吨CO2当量，市场基准排放为0（Meta已实现100%可再生能源供电）

训练数据

• 预训练数据：60亿图文对（截止2023年12月）
• 指令调优数据：包含300万合成样本

基准测试表现

安全措施

1. 三层防护策略：

   • 基础模型安全对齐
   • 开发者自定义安全策略
   • 社区防滥用机制

2. 专项风险评估：

   • 生化武器扩散风险评估
   • 儿童安全专家红队测试
   • 网络攻击自动化研究

3. 安全工具：

   • 开源Llama Guard防护组件
   • 提供系统级安全参考实现

伦理声明

Llama 3.2秉持开放、包容的核心价值观，但开发者需注意：

• 可能产生不准确/偏见输出
• 需针对具体应用场景进行安全测试
• 建议参考负责任使用指南部署

（注：本摘要已根据中文技术文档规范调整表格呈现方式，优化长句结构，保留关键数据指标和超链接引用）