开源协议: MIT
任务标签: 机器人技术

Octo基础模型

使用说明详见: https://github.com/octo-models/octo

Octo基础模型采用扩散策略进行训练，窗口尺寸为2，可预测未来4步的7维动作。该Transformer模型包含9300万参数（相当于ViT-B规模）。图像通过轻量级卷积编码器预处理后，被分割为16x16的图块进行标记化。文本则先经过T5分词器处理，再通过T5-Base语言编码器进行标记化。

观测数据与任务遵循以下规范：

观测数据:

{
    主摄像头图像: ('批次', '历史窗口', 256, 256, 3),
    腕部摄像头图像: ('批次', '历史窗口', 128, 128, 3),
}

任务数据:

{
    主摄像头图像: ('批次', 256, 256, 3),
    腕部摄像头图像: ('批次', 128, 128, 3),
    语言指令: {
        注意力掩码: ('批次', 16),
        输入标识符: ('批次', 16),
    },
}

推理时可输入任意子集的观测和任务键值，历史窗口最多支持2个时间步长。

本模型基于Open X-Embodiment混合数据集训练，各数据集比例如下：