许可证: mit
语言:

• 英文
  基础模型:
• microsoft/Florence-2-large
  任务标签: 机器人
  标签:
• 视觉语言动作模型
• LIBERO
• 机器人技术
• 流模型

FlowerVLA - 基于LIBERO 10微调的视觉-语言-动作流模型

这是一个针对机器人操作任务预训练的FlowerVLA模型，训练数据来自LIBERO 10数据集。
Flower是一个高效的视觉-语言-动作流策略模型，仅包含10亿参数。

模型描述

FlowerVLA采用创新架构：

• 使用Florence-2模型半数参数实现多模态视觉语言编码
• 采用基于Transformer的新型流匹配架构
• 以约10亿参数提供高效通用的VLA策略

性能表现

该检查点包含LIBERO 10挑战赛的权重，取得以下结果：

评估指标/平均序列长度 成功率 0.9440705180168152
客厅场景2_将字母汤和番茄酱放入篮子 成功率 0.9791666666666666
客厅场景2_将奶油芝士盒和黄油放入篮子 成功率 1.0
厨房场景3_打开炉灶并放上摩卡壶 成功率 0.9791666666666666
厨房场景4_将黑碗放入橱柜底层抽屉并关闭 成功率 1.0
客厅场景5_将白杯放左盘子，黄白杯放右盘子 成功率 0.9407051282051282
书房场景1_拾取书本放入推车后格 成功率 1.0
客厅场景6_将白杯放盘子，巧克力布丁放盘子右侧 成功率 0.8990384615384616
客厅场景1_将字母汤和奶油芝士盒放入篮子 成功率 1.0
厨房场景8_将两个摩卡壶放炉灶上 成功率 0.7403846153846154
厨房场景6_将黄白杯放入微波炉并关闭 成功率 0.9022435897435898

输入输出规范

输入

• 静态RGB摄像头：(B, T, 3, H, W)张量
• 机械爪RGB摄像头：(B, T, 3, H, W)张量
• 语言指令：文本字符串

输出

• 动作空间：(B, T, 7)张量表示末端执行器动作变化

使用方法

访问我们在GitHub上的完整实现todo，按照README说明在环境中测试模型。

观测数据 = {  
    "rgb观测": {  
        "静态图像": 静态图像,  
        "机械爪图像": 机械爪图像  
    }  
}  
指令 = {"语言文本": "拾取蓝色立方体"}  
动作 = 模型.执行步骤(观测数据, 指令)  

训练详情

配置

• 优化器: AdamW
• 学习率: 2e-5
• 权重衰减: 0.05

@inproceedings{
reuss2025flower,
# 引用信息待补充
}

许可

本模型采用MIT许可证发布。