库名称: transformers
标签:

• 机器人技术
• 视觉语言动作模型
• 图像文本到文本
• 多模态
• 预训练
  许可证: mit
  语言:
• 英语
  管道标签: 图像文本到文本

基于LIBERO-Goal微调的OpenVLA 7B模型

本模型是通过在LIBERO仿真基准的LIBERO-Goal数据集上，使用LoRA（r=32）对OpenVLA 7B模型进行微调而得到的。我们对训练数据集做了一些改进以提升最终性能（详见OpenVLA论文）。

以下是我们在所有LIBERO实验中使用的超参数：

• 硬件：8块80GB显存的A100 GPU
• LoRA微调参数：use_lora == True，lora_rank == 32，lora_dropout == 0.0
• 学习率：5e-4
• 批量大小：128（8块GPU，每块16个样本）
• 训练梯度步数：60K
• 训练和测试时均未使用量化
• 无梯度累积（即grad_accumulation_steps == 1）
• shuffle_buffer_size == 100_000
• 图像增强：随机裁剪、颜色抖动（详见训练代码）

使用说明

关于如何在LIBERO模拟器中运行和评估此模型，请参阅OpenVLA GitHub README。

引用

BibTeX:

@article{kim24openvla,  
    title={OpenVLA: 一个开源的视觉语言动作模型},  
    author={{Moo Jin} Kim and Karl Pertsch and Siddharth Karamcheti and Ted Xiao and Ashwin Balakrishna and Suraj Nair and Rafael Rafailov and Ethan Foster and Grace Lam and Pannag Sanketi and Quan Vuong and Thomas Kollar and Benjamin Burchfiel and Russ Tedrake and Dorsa Sadigh and Sergey Levine and Percy Liang and Chelsea Finn},  
    journal = {arXiv预印本 arXiv:2406.09246},  
    year={2024}  
}