许可证：apache-2.0
语言：

• 英文
  基础模型：
• meta-llama/Llama-3.2-11B-Vision-Instruct
  数据集：
• Xkev/LLaVA-CoT-100k
  任务标签：图像文本到文本
  库名称：transformers

模型卡片

Llama-3.2V-11B-cot 是 LLaVA-CoT 的首个版本，这是一个能够进行自发、系统性推理的视觉语言模型。

该模型在论文 LLaVA-CoT: Let Vision Language Models Reason Step-by-Step 中被提出。

模型详情

• 许可证： apache-2.0
• 微调自模型： meta-llama/Llama-3.2-11B-Vision-Instruct

基准测试结果

复现

要复现我们的结果，您应使用 VLMEvalKit 和以下设置。

您可以在 此文件 的第80-83行修改这些参数，并调整文件中的 max_new_tokens 值。

注意：我们遵循与 Llama-3.2-11B-Vision-Instruct 相同的设置，但将 max_new_tokens 扩展至2048。

获取结果后，您应过滤模型输出，仅保留 <CONCLUSION> 和 </CONCLUSION> 之间的内容。

理论上这不应有任何差异，但实际观察中我们发现性能存在差异，因为评判者 GPT-4o 有时可能不准确。

通过保留 <CONCLUSION> 和 </CONCLUSION> 之间的输出，大多数答案可以直接通过 VLMEvalKit 系统提取，从而减少偏差。

如何开始使用该模型

您可以使用 Llama-3.2-11B-Vision-Instruct 的推理代码。

训练详情

训练数据

该模型在 LLaVA-CoT-100k 数据集 上进行训练。

训练过程

模型使用 llama-recipes 进行微调，采用以下设置。
使用相同设置可以准确复现我们的结果。

偏差、风险与局限性

由于训练数据的限制，该模型可能生成带有偏见或冒犯性的内容，与其他视觉语言模型类似。
在技术上，该模型在指令遵循等方面的表现仍落后于行业领先模型。