开源协议: gpl-3.0 任务类型: 图像文本生成文本

LLaVA-Mini：单视觉令牌实现高效图像视频多模态大模型

张少雷、方庆凯、杨哲、冯洋*

LLaVA-Mini是一款统一的多模态大模型，能以高效方式支持图像、高分辨率图像和视频的理解。通过多模态模型内部可解释性研究指导，LLaVA-Mini在保证视觉能力的同时显著提升效率。代码、模型和演示现已发布！

详情请参阅我们的GitHub仓库。

[!注意] LLaVA-Mini仅需1个令牌即可表示每张图像，显著提升图像视频理解效率：

• 计算量：减少77%浮点运算
• 响应延迟：从100毫秒降至40毫秒
• 显存占用：从360MB/图像降至0.6MB/图像，支持3小时视频处理

💡亮点：

1. 卓越性能：仅用1个视觉令牌（压缩率0.17%）即可达到与LLaVA-v1.5（576令牌）相当的表现
2. 高效处理：降低77%计算量，40毫秒内快速响应，24GB显存GPU可处理超万帧视频
3. 深度洞察：我们通过初步分析揭示了多模态大模型处理视觉令牌的机制，相关研究详见论文

🖥 演示

• 从此处下载LLaVA-Mini模型

• 运行以下脚本在浏览器中交互：

  # 启动控制器
  python -m llavamini.serve.controller --host 0.0.0.0 --port 10000 &
  
  # 构建API服务
  CUDA_VISIBLE_DEVICES=0 python -m llavamini.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path ICTNLP/llava-mini-llama-3.1-8b --model-name llava-mini &
  
  # 启动交互界面
  python -m llavamini.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload  --port 7860
  

🔥 快速开始

环境配置

• 安装依赖：

  conda create -n llavamini python=3.10 -y
  conda activate llavamini
  pip install -e .
  pip install -e ".[train]"
  pip install flash-attn --no-build-isolation
  

命令行交互

• 图像理解（使用--image-file参数）：

  CUDA_VISIBLE_DEVICES=0 python llavamini/eval/run_llava_mini.py \
      --model-path ICTNLP/llava-mini-llama-3.1-8b \
      --image-file llavamini/serve/examples/baby_cake.png \
      --conv-mode llava_llama_3_1 --model-name "llava-mini" \
      --query "蛋糕上写着什么？"
  

• 视频理解（使用--video-file参数）：

  CUDA_VISIBLE_DEVICES=0 python llavamini/eval/run_llava_mini.py \
      --model-path ICTNLP/llava-mini-llama-3.1-8b \
      --video-file llavamini/serve/examples/fifa.mp4 \
      --conv-mode llava_llama_3_1 --model-name "llava-mini" \
      --query "视频中发生了什么？"
  

复现与评估

• 评估指南详见评估文档

案例展示

• LLaVA-Mini实现高质量的图像视频理解

• 动态压缩机制可视化（高亮区域表示压缩时重点保留的信息）

🖋 引用

若本项目对您的研究有帮助，请引用：

@misc{llavamini,
      title={LLaVA-Mini：单视觉令牌实现高效图像视频多模态大模型}, 
      author={张少雷 and 方庆凯 and 杨哲 and 冯洋},
      year={2025},
      eprint={2501.03895},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2501.03895}, 
}

如有疑问，请提交issue或联系zhangshaolei20z@ict.ac.cn。