library_name: transformers tags:

• 机器人技术
• 视觉语言动作模型
• 图像文本到文本
• 多模态
• 预训练 license: mit language:
• 英文 pipeline_tag: 图像文本到文本

MiniVLA 1B Wrist VQ（兼容Prismatic版本）

此检查点采用与原始Prismatic VLMs项目代码库训练脚本兼容的格式，OpenVLA团队基于该代码库开发了OpenVLA模型。

如果您希望使用Prismatic VLMs训练脚本通过原生PyTorch全共享数据并行（FSDP）对MiniVLA（全部10亿参数）进行完整微调，此兼容Prismatic的检查点可能非常有用。如果您希望使用LoRA进行参数高效微调，可以使用上方链接的MiniVLA检查点，该检查点兼容Hugging Face的transformers库。如果您没有足够的计算资源完整微调10亿参数模型（例如多块A100/H100 GPU），我们建议使用LoRA进行微调。

使用说明

有关如何使用此检查点进行完整微调的说明，请参阅MiniVLA GitHub README。

引用

BibTeX:

@article{belkhale24minivla,
    title={MiniVLA: 更小体积的更好VLA},
    author={Suneel Belkhale and Dorsa Sadigh},
    url={https://github.com/Stanford-ILIAD/openvla-mini}
    year={2024}
}