library_name: transformers
tags:

• 机器人技术
• 视觉语言动作模型
• 图像文本到文本
• 多模态
• 预训练
  license: mit
  language:
• 英语
  pipeline_tag: image-text-to-text

MiniVLA 1B VQ 基于 Bridge V2 训练（兼容 Prismatic 版本）

此检查点格式与原始 Prismatic VLMs 项目代码库 的训练脚本兼容，OpenVLA 团队基于该代码库开发了 OpenVLA 模型。

如果您希望使用 Prismatic VLMs 训练脚本通过原生 PyTorch 全共享数据并行（FSDP）对 MiniVLA（全部 10 亿参数）进行完整微调，此兼容 Prismatic 的检查点可能非常有用。如果您更倾向于通过 LoRA 进行参数高效微调，可以使用上方链接的 MiniVLA 检查点，该检查点兼容 Hugging Face 的 transformers 库。如果您的计算资源不足以完整微调 10 亿参数模型（例如缺少多块 A100/H100 GPU），我们推荐使用 LoRA 进行微调。

使用说明

有关如何使用此检查点进行完整微调的详细指南，请参阅 MiniVLA GitHub README。

引用

BibTeX:

@article{belkhale24minivla,  
    title={MiniVLA: 更小体积的更强视觉语言动作模型},  
    author={Suneel Belkhale 和 Dorsa Sadigh},  
    url={https://github.com/Stanford-ILIAD/openvla-mini}  
    year={2024}  
}