许可协议: cc-by-nc-4.0 支持语言:

• 英语 任务类型: 图像文本到文本转换 预印本: 2503.02597 基础模型:
• google/siglip-so400m-patch14-384
• microsoft/Phi-3.5-mini-instruct 训练数据集:
• Salesforce/blip3-kale
• Salesforce/blip3-ocr-200m

AKI模型卡片

AKI是论文《Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs》的官方模型检查点。该多模态基础模型通过解锁LLM中的因果注意力机制，实现了跨模态互注意力(MMA)，使视觉模态(图像)能够整合文本模态信息，从而解决视觉语言错位问题，且无需增加额外参数和训练时间。

模型详情

模型架构

• 视觉编码器: SigLIP-so400m-patch14-384
• 视觉语言连接器: 感知器重采样器
• 语言解码器: Phi-3.5-mini-instruct
• 预训练数据集: Blip3-kale与Blip3-OCR-200m
• 指令微调数据集: VQAv2/GQA/VSR等12个基准数据集

资源来源

• 代码库: GitHub项目
• 论文: arXiv预印本

使用指南

输入格式

建议采用以下对话式提示模板：

<|system|>
这是用户与AI助手的对话。助手需提供专业、详尽且礼貌的回答。<|end|>
<|user|>
<image>
描述这张图片的场景。<|end|>
<|assistant|>

示例输出：图片展现了公园秋日美景，小径铺满缤纷落叶，红橙黄棕交织成温暖色调。道路两侧树木披着秋装，构成如画景致...

推理示例

零样本推理请参考演示笔记本。本地部署可运行local_demo.py。

训练脚本详见GitHub仓库

评估结果

同配置模型对比（表1）

AKI-4B表现（表2）

伦理声明

本版本仅限学术研究使用。我们强烈建议部署前评估模型在准确性、安全性和公平性方面的潜在风险，特别是在可能影响人身权利的高风险场景中，需遵守相关法律法规并采取最佳实践方案。（声明部分参考xgen-mm模型）

许可声明

代码与权重采用CC-BY-NC 4.0协议发布。训练数据版权归属原始数据所有者。

引用格式

@misc{wywang2025AKI,
      title={Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs}, 
      author={Wei-Yao Wang and Zhao Wang and Helen Suzuki and Yoshiyuki Kobayashi},
      year={2025},
      eprint={2503.02597},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.02597}, 
}