library_name: transformers tags:

• 机器人技术
• 视觉语言模型
• 图像文本到文本
• 多模态
• 预训练 license: mit language:
• 英文 pipeline_tag: 图像文本到文本

MiniVLA VQ 1B（兼容Prismatic版本）

此检查点格式与原始Prismatic VLMs项目代码库的训练脚本兼容，OpenVLA团队基于该代码库开发了OpenVLA模型。

如果您希望通过原生PyTorch全共享数据并行（FSDP）使用Prismatic VLMs训练脚本完整微调MiniVLA（所有10亿参数），此兼容Prismatic的检查点可能有用。如果您希望使用LoRA进行参数高效微调，可以使用上方链接的MiniVLA检查点，该检查点兼容Hugging Face的transformers库。如果您没有足够的计算资源完整微调10亿参数模型（例如多块A100/H100 GPU），我们建议通过LoRA进行微调。

使用说明

有关如何使用此检查点进行完整微调的说明，请参阅MiniVLA GitHub README。

引用

BibTeX:

@article{belkhale24minivla,
    title={MiniVLA: 更小体积的更好视觉语言模型},
    author={Suneel Belkhale 和 Dorsa Sadigh},
    url={https://github.com/Stanford-ILIAD/openvla-mini}
    year={2024}
}