license: mit pipeline_tag: any-to-any

VILA-U：统一视觉理解与生成的基础模型

摘要

VILA-U是一个集视频、图像、语言理解与生成于一体的统一基础模型。传统视觉语言模型（VLMs）采用独立模块处理视觉内容的理解与生成，容易导致任务错位和系统复杂性增加。相比之下，VILA-U通过单一的自回归下一标记预测框架统一处理两类任务，无需依赖扩散模型等额外组件。这种设计不仅简化了模型架构，还在视觉语言理解与生成任务中取得了接近最先进的性能。VILA-U的成功归因于两大核心创新：预训练阶段通过统一视觉编码塔将离散视觉标记与文本输入对齐，显著提升了视觉感知能力；同时在高质量数据集支持下，自回归图像生成可达到与扩散模型相媲美的质量。这使得VILA-U在完全基于标记的自回归框架下，性能可比肩更复杂的混合架构模型。

相关资源

• 论文: https://arxiv.org/abs/2409.04429
• GitHub: https://github.com/mit-han-lab/vila-u
• 项目主页: https://hanlab.mit.edu/projects/vila-u

引用格式

@article{wu2024vila,
  title={Vila-u: 统一视觉理解与生成的基础模型},
  author={吴业成、张卓阳、陈俊宇、唐昊天、李大成、方云浩、朱立庚、谢恩泽、尹鸿旭、易立等},
  journal={arXiv预印本 arXiv:2409.04429},
  year={2024}
}