许可证：apache-2.0
库名称：transformers
任务标签：图像特征提取

本仓库包含OpenVision模型，这是一个完全开源、高性价比的先进视觉编码器家族，专为多模态学习设计，相关论文详见OpenVision: A Fully-Open, Cost-Effective Family of Advanced Vision Encoders for Multimodal Learning。

摘要：

2021年初发布的OpenAI CLIP长期是多模态基础模型的首选视觉编码器。尽管近期SigLIP等替代方案开始挑战这一现状，但据我们所知，尚无完全开源的方案：其训练数据仍属专有，且/或训练方法未公开。本文通过OpenVision填补了这一空白——该系列视觉编码器完全开源且性价比优异，在LLaVA等多模态框架中集成时，性能匹配甚至超越OpenAI CLIP。OpenVision基于现有工作（如CLIPS训练框架和Recap-DataComp-1B训练数据），同时揭示了提升编码器质量的多个关键洞见，并展示了推动多模态模型发展的实际优势。通过发布参数量从590万至6.321亿不等的视觉编码器，OpenVision为开发者提供了构建多模态模型时容量与效率的灵活权衡：大模型可提升多模态性能，而小模型则支持轻量级、边缘设备友好的多模态部署。

项目主页：https://ucsc-vlaa.github.io/OpenVision
代码仓库：https://github.com/UCSC-VLAA/OpenVision