库名称: transformers 标签:

• 机器人技术
• 视觉语言动作模型
• 图像文本到文本
• 多模态
• 预训练 许可证: mit 语言:
• 英语 管道标签: 图像文本到文本

MiniVLA 图像历史 (T=2) VQ 1B (兼容Prismatic版本)

此检查点格式与原始Prismatic VLMs项目代码库的训练脚本兼容，OpenVLA团队基于该代码库开发了OpenVLA模型。

如果您希望通过原生PyTorch完全分片数据并行(FSDP)使用Prismatic VLMs训练脚本完全微调MiniVLA(所有10亿参数)，这个兼容Prismatic的检查点可能很有用。如果您希望使用LoRA进行参数高效微调，可以使用上面链接的与Hugging Face transformers库兼容的MiniVLA检查点。如果没有足够计算资源完全微调10亿参数模型(例如多块A100/H100 GPU)，我们建议通过LoRA进行微调。

使用说明

有关如何使用此检查点进行完整微调的说明，请参阅MiniVLA GitHub README。

引用

BibTeX格式:

@article{belkhale24minivla,
    title={MiniVLA: 更小体积的更好视觉语言动作模型},
    author={Suneel Belkhale 和 Dorsa Sadigh},
    url={https://github.com/Stanford-ILIAD/openvla-mini}
    year={2024}
}