许可证: mit 语言:

• 英文 基础模型:
• microsoft/Florence-2-large 任务标签: 机器人技术 标签:
• 机器人技术
• 视觉语言动作模型

FlowerVLA - 面向CALVIN D的视觉-语言-动作流模型

这是一个针对CALVIN D数据集预训练的FlowerVLA机器人操作模型。 Flower是一种高效的视觉-语言-动作流策略，仅包含10亿参数。

模型描述

FlowerVLA创新架构特点：

• 采用Florence-2半数模块实现多模态视觉语言编码
• 运用基于Transformer的新型流匹配架构
• 仅约10亿参数即可实现高效通用的VLA策略

性能表现

该检查点包含CALVIN D挑战赛权重，当前排名第一，成绩如下：

输入输出规范

输入

• 静态RGB摄像头：(B, T, 3, H, W)张量
• 夹爪RGB摄像头：(B, T, 3, H, W)张量
• 语言指令：文本字符串

输出

• 动作空间：表示末端执行器增量动作的(B, T, 7)张量

使用方式

访问我们在Github上的完整实现todo，按照README说明在环境中测试模型。

obs = {
    "rgb_obs": {
        "rgb_static": 静态图像,
        "rgb_gripper": 夹爪图像
    }
}
goal = {"lang_text": "拾取蓝色立方体"}
action = model.step(obs, goal)

训练详情

配置

• 优化器: AdamW
• 学习率: 2e-5
• 权重衰减: 0.05

@inproceedings{ reuss2025flower, # 待补充引用信息 }

许可

本模型采用MIT许可证发布。