许可证: MIT
语言:

• 英文
  基础模型:
• microsoft/Florence-2-large
• mbreuss/flower_vla_pret
  任务标签: 机器人技术
  标签:
• 机器人技术
• 视觉-语言-动作模型

FlowerVLA - 面向CALVIN ABCD的视觉-语言-动作流模型

这是一个针对CALVIN ABCD数据集预训练的FlowerVLA机器人操作模型。
Flower是一种高效的视觉-语言-动作流策略，仅包含10亿参数，专为机器人学习设计。

模型描述

FlowerVLA采用创新架构：

• 使用半量Florence-2进行多模态视觉-语言编码
• 采用基于Transformer的新型流匹配架构
• 仅约10亿参数即可实现高效、通用的视觉-语言-动作策略

模型性能

该检查点包含CALVIN ABCD挑战赛的权重，当前排名第一，成绩如下：

输入/输出规范

输入

• 静态RGB摄像头：(B, T, 3, H, W) 张量
• 夹爪RGB摄像头：(B, T, 3, H, W) 张量
• 语言指令：文本字符串

输出

• 动作空间：(B, T, 7) 张量，表示末端执行器动作增量

使用方式

访问我们在GitHub上的完整模型实现todo，按照README说明在环境中测试模型。

obs = {  
    "rgb_obs": {  
        "rgb_static": static_image,  
        "rgb_gripper": gripper_image  
    }  
}  
goal = {"lang_text": "拾取蓝色立方体"}  
action = model.step(obs, goal)  

训练详情

配置

• 优化器: AdamW
• 学习率: 2e-5
• 权重衰减: 0.05

@inproceedings{
reuss2025flower,
# 引用信息待补充
}

许可证

本模型基于MIT许可证发布。