许可证: mit 库名称: transformers 标签:

• 机器人技术
• 视觉语言动作模型
• 扩散模型
• 多模态
• 预训练 语言:
• 英语 管道标签: 机器人技术

CogACT-Small

CogACT是一种基于视觉语言模型(VLM)衍生的新型高级视觉语言动作(VLA)架构。与以往通过简单动作量化直接改造VLM进行动作预测的工作不同，我们提出了一种组件化的VLA架构，该架构包含基于VLM输出进行条件化的专用动作模块。CogACT-Small采用DiT-S模型作为动作模块。

我们所有的代码、预训练模型权重均采用MIT许可证授权。

更多详情请参阅我们的项目主页和论文。

模型概要

• 开发团队: 由微软亚洲研究院研究人员组成的CogACT团队
• 模型类型: 视觉-语言-动作模型（语言、图像 => 机器人动作）
• 支持语言: 英语
• 许可证: MIT
• 模型组件:
  • 视觉主干网络: DINOv2 ViT-L/14 和 SigLIP ViT-So400M/14
  • 语言模型: Llama-2
  • 动作模型: DiT-Small
• 预训练数据集: Open X-Embodiment子集
• 代码仓库: https://github.com/microsoft/CogACT
• 论文: CogACT：融合认知与动作的机器人操作基础视觉-语言-动作模型
• 项目主页: https://cogact.github.io/

使用说明

CogACT接收语言指令和单视角RGB图像作为输入，预测未来16个标准化机器人动作（包含7自由度末端执行器增量，形式为x, y, z, roll, pitch, yaw, gripper）。这些动作需要通过我们的自适应动作集成（可选）进行反标准化和集成处理。反标准化和集成取决于数据集统计特性。

CogACT模型可零样本应用于Open-X预训练混合数据集中出现的机器人配置。也可通过极少量演示样本对新任务和机器人配置进行微调。更多信息请参见我们的代码库。

以下是简单的推理示例：

# 请从我们的代码库克隆并安装依赖项
# 安装最小依赖项（`torch`, `transformers`, `timm`, `tokenizers`等）

from PIL import Image
from vla import load_vla
import torch

model = load_vla(
      'CogACT/CogACT-Small',
      load_for_training=False,
      action_model_type='DiT-S',
      future_action_window_size=15,
    )                                 
# 约占用30G fp32内存

# （可选）使用"model.vlm = model.vlm.to(torch.bfloat16)"以bf16精度加载视觉语言模型

model.to('cuda:0').eval()

image: Image.Image = <输入您的图像>
prompt = "将海绵移到苹果附近"           # 输入您的指令

# 预测动作（7自由度；针对RT-1谷歌机器人数据反标准化，即fractal20220817_data）
actions, _ = model.predict_action(
          image,
          prompt,
          unnorm_key='fractal20220817_data', # 输入数据集的反标准化键
          cfg_scale = 1.5,                   # 1.5到7的cfg值表现良好
          use_ddim = True,                   # 使用DDIM采样
          num_ddim_steps = 10,               # DDIM采样步数
        )

# 输出16步7自由度动作，形状为[16, 7]

引用

@article{li2024cogact,
  title={CogACT：融合认知与动作的机器人操作基础视觉-语言-动作模型},
  author={李启秀 and 梁耀波 and 王泽宇 and 罗林 and 陈曦 and 廖墨政 and 魏方运 and 邓宇 and 徐思成 and 张艺钟 and 等},
  journal={arXiv预印本 arXiv:2411.19650},
  year={2024}
}