许可协议：apache-2.0
库名称：nanovlm
标签：

• 视觉语言
• 多模态
• pytorch
• 小型模型
• 高效
• 研究
• VLM
  模型名称：nanoVLM
  数据集：
• HuggingFaceM4/the_cauldron
  评估指标：
• 准确率
  任务类型：image-text-to-text

nanoVLM 是一款极简轻量级的视觉语言模型（VLM），专为高效训练和实验而设计。
该模型完全基于 PyTorch 构建，整个模型架构和训练逻辑仅需约 750 行代码。
它结合了基于 ViT 的图像编码器（SigLIP-B/16-224-85M）与轻量级因果语言模型（SmolLM2-135M），
形成了一个紧凑的 2.22 亿参数模型。在单块 H100 GPU 上使用 the cauldron 数据集的 170 万样本训练约 6 小时后，
该模型在 MMStar 基准测试中达到了 35.3% 的准确率，为低资源 VLM 研究提供了强有力的基线。

对于希望在最小计算开销下探索 VLM 训练的研究人员和开发者而言，此模型堪称理想选择，
同时也是动手实践多模态架构的完美起点。

模型架构：

• 视觉 Transformer（SigLIP-B/16）
• 因果语言模型（SmolLM2）
• 模态投影层

训练：

• 使用 the_cauldron 数据集约 170 万样本训练
• 单块 NVIDIA H100 GPU 训练 6 小时
• 最终模型规模：2.22 亿参数

评估：

• MMStar 准确率：35.3%

使用方法：
可通过 nanoVLM 代码库调用：https://github.com/huggingface/nanoVLM
更多细节请参阅：https://github.com/huggingface/nanoVLM?tab=readme-ov-file#hub-integration

from models.vision_language_model import VisionLanguageModel
model = VisionLanguageModel.from_pretrained("lusxvr/nanoVLM-222M")