🚀 AKI模型卡片

AKI是论文“Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs”的官方检查点。AKI是一个多模态基础模型，它将大语言模型（LLM）中的因果注意力转化为模态互注意力（MMA），使早期模态（图像）能够整合后期模态（文本）的信息，从而在不引入额外参数和增加训练时间的情况下解决视觉 - 语言对齐问题。

📚 详细文档

模型描述

• 视觉编码器：google/siglip-so400m-patch14-384
• 视觉 - 语言连接器：Perceiver Resampler
• 语言解码器（LLM）：microsoft/Phi-3.5-mini-instruct
• 预训练数据集：Blip3-kale 和 Blip3-OCR-200m
• 监督微调（SFT）数据集：VQAv2、GQA、VSR、OCRVQA、A - OKVQA、ScienceQA、RefCOCO、RefCOCOg、RefCOCO+、VisualGnome、LLaVA - 150k

模型来源

• 代码仓库：GitHub
• 论文链接：arXiv

💻 使用示例

输入格式

鉴于训练数据的性质，AKI模型最适合使用以下聊天格式的提示：

<|system|>
A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.<|end|>
<|user|>
<image>
Describe the scene of this image.
<|end|>
<|assistant|>

图像捕捉到了公园中一个美丽的秋日，一条小径上铺满了色彩斑斓的落叶。树叶呈现出红、橙、黄、棕等各种色调，营造出温暖而多彩的氛围。小径两旁的树木展示着美丽的秋叶，增添了如画的景致。...

推理示例

请参考 notebook 进行零样本推理。 要构建本地演示网站，请参考 local_demo.py。

有关训练脚本，请参考 GitHub 仓库。

📊 评估结果

相同配置下的主要对比（表1）

AKI - 4B（表2）

⚖️ 伦理考量

注意：本节内容主要取自 xgen - mm 模型。

本次发布仅用于支持学术论文的研究目的。我们的模型、数据集和代码并非专门为所有下游用途而设计或评估。我们强烈建议用户在部署此模型之前，评估并解决与准确性、安全性和公平性相关的潜在问题。我们鼓励用户考虑人工智能的常见局限性，遵守适用法律，并在选择用例时采用最佳实践，特别是在错误或滥用可能对人们的生活、权利或安全产生重大影响的高风险场景中。

📄 许可证

我们的代码和权重遵循 CC - BY - NC 4.0 许可证发布。

预训练和微调数据的版权归原始数据所有者所有。

📚 引用

@misc{wywang2025AKI,
      title={Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs}, 
      author={Wei-Yao Wang and Zhao Wang and Helen Suzuki and Yoshiyuki Kobayashi},
      year={2025},
      eprint={2503.02597},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.02597}, 
}