🚀 RoboBrain2.0-7B GGUF模型

RoboBrain2.0-7B GGUF模型是用于机器人领域的强大模型，它在多智能体任务规划、空间推理和闭环执行等方面有显著提升，能为机器人应用提供更智能的决策和执行能力。

🚀 快速开始

环境搭建

# 克隆仓库
git clone https://github.com/FlagOpen/RoboBrain2.0.git
cd RoboBrain

# 创建conda环境
conda create -n robobrain2 python=3.10
conda activate robobrain2
pip install -r requirements.txt

简单推理

注意：请参考 RoboBrain 2.0 Github 了解RoboBrain 2.0的使用方法。

✨ 主要特性

RoboBrain 2.0 支持以下特性：

• 交互式推理：具备长周期规划和闭环反馈能力。
• 空间感知：能根据复杂指令进行精确的点和边界框预测。
• 时间感知：可进行未来轨迹估计。
• 场景推理：通过实时结构化内存构建和更新实现。

📦 安装指南

# 克隆仓库
git clone https://github.com/FlagOpen/RoboBrain2.0.git
cd RoboBrain

# 创建conda环境
conda create -n robobrain2 python=3.10
conda activate robobrain2
pip install -r requirements.txt

📚 详细文档

模型生成细节

该模型使用 llama.cpp 在提交版本 6adc3c3e 时生成。

超IMatrix量化

我一直在尝试一种新的量化方法，该方法有选择地提高关键层的精度，超越了默认IMatrix配置的精度。

在测试中，标准的IMatrix量化在低比特深度下表现不佳，尤其是对于专家混合（MoE）模型。为了解决这个问题，我使用 llama.cpp 中的 --tensor-type 选项手动将重要层的精度提高。你可以在以下链接查看实现代码： 使用llama.cpp进行层提升

虽然这会增加模型文件的大小，但它显著提高了给定量化级别的精度。

选择合适的GGUF模型格式

点击此处获取选择合适GGUF模型格式的信息

架构

RoboBrain 2.0 支持 多图像、长视频 和 高分辨率视觉输入，以及语言端的复杂任务指令和结构化 场景图。视觉输入通过视觉编码器和MLP投影器进行处理，而文本输入则被标记为统一的标记流。所有输入都被送入 LLM解码器，该解码器执行 长链思维推理 并输出结构化计划、空间关系以及 相对 和 绝对坐标。

模型库

更多结果

跨空间推理和任务规划的基准测试比较。RoboBrain2.0-32B 在四个关键具身智能基准测试中达到了最先进的性能：BLINK-Spatial、CV-Bench、EmbSpatial 和 RefSpatial。它不仅优于领先的开源模型，如o4-mini和Qwen2.5-VL，还超越了闭源模型，如Gemini 2.5 Pro和Claude Sonnet 4 —— 特别是在具有挑战性的 RefSpatial 基准测试中，RoboBrain2.0 显示出超过50%的绝对提升。

测试模型

如果你认为这些模型有用，可以帮助我测试我的 人工智能驱动的量子网络监控助手 进行 量子就绪安全检查： 量子网络监控

量子网络监控服务的完整开源代码可在我的GitHub仓库中找到（仓库名称包含NetworkMonitor）：量子网络监控源代码。如果你想自己进行模型量化，也可以找到我使用的代码 GGUFModelBuilder。

测试方法

选择一种 人工智能助手类型：

• TurboLLM (GPT-4.1-mini)
• HugLLM (Huggingface开源模型)
• TestLLM (仅支持CPU的实验性模型)

测试内容

我正在挑战 用于人工智能网络监控的小型开源模型 的极限，具体包括：

• 针对实时网络服务进行 函数调用
• 模型可以多小 同时仍能处理：
  • 自动 Nmap安全扫描
  • 量子就绪检查
  • 网络监控任务

TestLLM - 当前实验性模型（在Huggingface Docker空间的2个CPU线程上运行llama.cpp）

• 零配置设置
• 加载时间≥30秒（推理速度慢，但 无API成本）。由于成本较低，无令牌限制。
• 寻求帮助！ 如果你对 边缘设备人工智能 感兴趣，让我们合作吧！

其他助手

• TurboLLM - 使用 gpt-4.1-mini：
  • 性能非常好，但不幸的是OpenAI按令牌收费。因此，令牌使用受限。
  • 创建自定义命令处理器以在量子网络监控代理上运行.NET代码
  • 实时网络诊断和监控
  • 安全审计
  • 渗透测试（Nmap/Metasploit）
• HugLLM - 最新的开源模型：
  • 在Hugging Face推理API上运行。使用Novita托管的最新模型表现相当不错。

示例命令

你可以测试以下示例命令：

1. "提供我的网站SSL证书信息"
2. "检查我的服务器是否使用量子安全加密进行通信"
3. "对我的服务器进行全面的安全审计"
4. "创建一个命令处理器来...（你想要的任何内容）" 注意你需要安装 量子网络监控代理 才能运行.NET代码。这是一个非常灵活和强大的功能，请谨慎使用！

结束语

我自掏腰包资助创建这些模型文件的服务器、运行量子网络监控服务以及支付Novita和OpenAI的推理费用。模型创建和量子网络监控项目背后的所有代码都是 开源的。你可以随意使用你认为有用的内容。

如果你欣赏这项工作，请考虑 请我喝咖啡。你的支持有助于支付服务成本，并使我能够为大家提高令牌限制。

我也接受工作机会或赞助。

感谢！

📄 许可证

本项目采用Apache-2.0许可证。

📚 引用

如果你觉得这个项目有用，欢迎引用我们：

@article{RoboBrain 2.0 Technical Report,
    title={RoboBrain 2.0 Technical Report},
    author={BAAI RoboBrain Team},
    journal={arXiv preprint arXiv:TODO},
    year={2025}
}

@article{RoboBrain 1.0,
    title={Robobrain: A unified brain model for robotic manipulation from abstract to concrete},
    author={Ji, Yuheng and Tan, Huajie and Shi, Jiayu and Hao, Xiaoshuai and Zhang, Yuan and Zhang, Hengyuan and Wang, Pengwei and Zhao, Mengdi and Mu, Yao and An, Pengju and others},
    journal={arXiv preprint arXiv:2502.21257},
    year={2025}
}

@article{RoboOS,
    title={RoboOS: A Hierarchical Embodied Framework for Cross-Embodiment and Multi-Agent Collaboration},
    author={Tan, Huajie and Hao, Xiaoshuai and Lin, Minglan and Wang, Pengwei and Lyu, Yaoxu and Cao, Mingyu and Wang, Zhongyuan and Zhang, Shanghang},
    journal={arXiv preprint arXiv:2505.03673},
    year={2025}
}

@article{zhou2025roborefer,
    title={RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics},
    author={Zhou, Enshen and An, Jingkun and Chi, Cheng and Han, Yi and Rong, Shanyu and Zhang, Chi and Wang, Pengwei and Wang, Zhongyuan and Huang, Tiejun and Sheng, Lu and others},
    journal={arXiv preprint arXiv:2506.04308},
    year={2025}
}

@article{Reason-RFT,
    title={Reason-rft: Reinforcement fine-tuning for visual reasoning},
    author={Tan, Huajie and Ji, Yuheng and Hao, Xiaoshuai and Lin, Minglan and Wang, Pengwei and Wang, Zhongyuan and Zhang, Shanghang},
    journal={arXiv preprint arXiv:2503.20752},
    year={2025}
}

@article{Code-as-Monitor,
    title={Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection},
    author={Zhou, Enshen and Su, Qi and Chi, Cheng and Zhang, Zhizheng and Wang, Zhongyuan and Huang, Tiejun and Sheng, Lu and Wang, He},
    journal={arXiv preprint arXiv:2412.04455},
    year={2024}
}