🚀 OpenVLA 7B在LIBERO-Object上的微调版本

该模型基于OpenVLA 7B模型，通过LoRA（r = 32）在LIBERO模拟基准的LIBERO-Object数据集上进行微调得到，可用于图像文本到文本的多模态处理，在机器人领域有应用价值。

🚀 快速开始

本模型是通过LoRA（r=32）在LIBERO模拟基准的LIBERO-Object数据集上对OpenVLA 7B模型进行微调得到的。为了提高最终性能，我们对训练数据集做了一些修改（详情见OpenVLA论文）。

🔧 技术细节

以下是我们在所有LIBERO实验中使用的超参数：

• 硬件：8块显存为80GB的A100 GPU
• 使用LoRA进行微调：use_lora == True，lora_rank == 32，lora_dropout == 0.0
• 学习率：5e - 4
• 批量大小：128（8块GPU，每块GPU处理16个样本）
• 训练梯度步数：50K
• 训练和测试时不进行量化
• 无梯度累积（即grad_accumulation_steps == 1）
• shuffle_buffer_size == 100_000
• 图像增强：随机裁剪、颜色抖动（详情见训练代码）

📚 详细文档

有关如何在LIBERO模拟器中运行和评估此模型的说明，请参阅OpenVLA GitHub README。

📄 许可证

本项目采用MIT许可证。

📚 引用信息

BibTeX:

@article{kim24openvla,
    title={OpenVLA: An Open-Source Vision-Language-Action Model},
    author={{Moo Jin} Kim and Karl Pertsch and Siddharth Karamcheti and Ted Xiao and Ashwin Balakrishna and Suraj Nair and Rafael Rafailov and Ethan Foster and Grace Lam and Pannag Sanketi and Quan Vuong and Thomas Kollar and Benjamin Burchfiel and Russ Tedrake and Dorsa Sadigh and Sergey Levine and Percy Liang and Chelsea Finn},
    journal = {arXiv preprint arXiv:2406.09246},
    year={2024}
}