许可证: mit 管道标签: 机器人技术

Octo小型版

使用说明详见: https://github.com/octo-models/octo

Octo小型版采用扩散策略训练，窗口尺寸为2，可预测未来4步的7维动作。该模型为2700万参数的Transformer架构（相当于ViT-S规模）。图像通过轻量级卷积编码器预处理后分块为16x16的图块进行标记化。文本则先经T5分词器处理，再通过T5-Base语言编码器编码。

观测数据与任务规范如下：

观测数据：

{
    主摄像头图像: ('批次', '历史窗口', 256, 256, 3),
    腕部摄像头图像: ('批次', '历史窗口', 128, 128, 3),
}

任务数据：

{
    主摄像头图像: ('批次', 256, 256, 3),
    腕部摄像头图像: ('批次', 128, 128, 3),
    语言指令: {
        注意力掩码: ('批次', 16),
        输入标识符: ('批次', 16),
    },
}

推理时可输入任意组合的观测/任务键值，历史窗口最长支持2个时间步。

本模型训练数据来自Open X-Embodiment多源数据集：