🚀 FlowerVLA - 用于CALVIN ABC的视觉-语言-动作流模型

FlowerVLA是一个预训练模型，专为机器人操作任务设计，在CALVIN ABC数据集上完成训练。Flower是一种高效的视觉-语言-动作流策略，用于机器人学习，仅包含10亿个参数。

🚀 快速开始

你可以在Github上查看我们完整的模型实现 todo，并按照README中的说明在其中一个环境中测试该模型。

obs = {
    "rgb_obs": {
        "rgb_static": static_image,
        "rgb_gripper": gripper_image
    }
}
goal = {"lang_text": "pick up the blue cube"}
action = model.step(obs, goal)

✨ 主要特性

FlowerVLA是一种新颖的架构，具有以下特点：

• 使用Florence - 2的一半进行多模态视觉-语言编码
• 采用了一种基于Transformer的新型流匹配架构
• 仅用约10亿个参数，就提供了一种高效、通用的视觉-语言-动作（VLA）策略

📚 详细文档

模型性能

此检查点包含用于CALVIN ABC挑战的权重，目前排名第一，具体结果如下：

输入/输出规格

输入

• RGB静态相机：(B, T, 3, H, W) 张量
• RGB夹爪相机：(B, T, 3, H, W) 张量
• 语言指令：文本字符串

输出

• 动作空间：(B, T, 7) 张量，表示末端执行器（EEF）的增量动作

🔧 技术细节

配置

• 优化器：AdamW
• 学习率：2e - 5
• 权重衰减：0.05

引用

@inproceedings{
    reuss2025flower,
    # Add citation when available
}

📄 许可证

该模型根据MIT许可证发布。

💻 使用示例

基础用法

obs = {
    "rgb_obs": {
        "rgb_static": static_image,
        "rgb_gripper": gripper_image
    }
}
goal = {"lang_text": "pick up the blue cube"}
action = model.step(obs, goal)

高级用法

暂未提供高级用法示例，你可以持续关注我们的Github仓库获取最新信息。

信息表格