license: mit pipeline_tag: robotics

Octo小型版

使用说明详见：https://github.com/octo-models/octo

Octo小型版采用扩散策略训练，窗口大小为2，可预测未来4步的7维动作。该模型为2700万参数的Transformer架构（相当于ViT-S规模）。图像通过轻量级卷积编码器预处理后分组成16x16的图块进行标记化。文本则先经T5分词器处理，再通过T5-Base语言编码器进行标记化。

观测数据与任务遵循以下规范：

观测数据：

{
    主摄像头图像: ('批次', '历史窗口', 256, 256, 3),
    腕部摄像头图像: ('批次', '历史窗口', 128, 128, 3),
}

任务数据：

{
    主摄像头图像: ('批次', 256, 256, 3),
    腕部摄像头图像: ('批次', 128, 128, 3),
    语言指令: {
        注意力掩码: ('批次', 16),
        输入标识符: ('批次', 16),
    },
}

推理时可输入任意子集的观测/任务键值，历史窗口最多支持2个时间步。

本模型基于Open X-Embodiment混合数据集训练，各数据集比例如下：

版本1.5更新

• 语言任务标记现会在上下文窗口的每个时间步重复
• 使用GPT-3.5对数据集中的语言指令进行同义改写增强
• 错误修复：
  • 因与层归一化不兼容，已关闭扩散头的dropout
  • 修正了注意力掩码的偏移错误
  • 解决了不同图像增强未使用新随机种子的问题