开源协议: MIT
支持语言:

• 英语
  基础模型:
• Qwen/Qwen2.5-Coder-32B-Instruct
  任务类型: 标记分类
  标签:
• 智能体
• 编程

OpenHands评审模型

技术博客

仅限研究用途：本模型严格面向研究发布，暂未兼容OpenHands应用程序。完整能力与限制说明请参阅技术博客。

通过推理时扩展与评审模型验证的SWE-Bench新标杆

我们激动地宣布，OpenHands在SWE-Bench Verified基准测试中刷新了最高纪录！

SWE-Bench与OpenHands

SWE-bench是评估大语言模型解决实际软件工程问题能力的黄金标准。该基准收录了GitHub上12个热门Python仓库的问题及对应PR，要求系统生成代码补丁来解决指定问题。我们测试的verified子集包含500个经专业开发者人工核实的测试案例，确保其具有明确范围的单元测试和清晰的问题描述。因其高度真实性及自动化解决软件开发问题的巨大潜力，该基准被学界和工业界广泛采用。

我们正在开发开源软件开发智能体OpenHands，其在该数据集上的原始表现为60.6%——但当我们突破极限时会发生什么？

推理时扩展：算力换性能

我们采用了一个简单而强大的策略：对于复杂软件工程问题，生成多个解决方案并择优选取能显著提升效果。具体流程：

1. 对每个SWE-Bench问题，使用Claude 3.7 Sonnet模型（温度参数1.0）运行OpenHands智能体多次，生成多个代码补丁方案
2. 训练"评审模型"评估每个解决方案的质量（下文详述）
3. 过滤未通过回归与重现测试的补丁
4. 选择轨迹评分最高的方案作为最终答案

这种推理时扩展方法让我们在不修改底层模型架构的情况下，将性能从单次运行的60.6%提升至五次尝试的66.4%，使我们的提交登顶排行榜！

构建更优评审模型

虽然其他团队尝试过基于Claude等模型的提示工程重排序策略，但我们训练了专用评审模型，效果更佳。训练过程包含：

• 使用SWE-Gym生成轨迹避免数据泄露
• 采用时序差分(TD)学习目标，将单元测试执行的终局信号反向传播至整个轨迹
• 在最后一层添加回归头预测奖励值

时序差分目标通过折扣因子γ=0.99实现奖励反向传播：
$$ r_t = \gamma r_{t+1} $$

我们使用veRL微调Qwen 2.5 Coder Instruct 32B，并通过定制版vLLM部署（注：OpenHands智能体自主编写了大部分功能代码）。

该评审模型已在HuggingFace开源，供研究者探索。

研发动机与未来方向

选择开发评审模型的核心原因：

真实场景泛化能力：相比提示工程方案，经过充分训练的评审模型能泛化至SWE-Bench之外的软件工程场景，成为日常编程的实用工具。

中间奖励赋能进阶：当前实现虽聚焦于多轨迹择优，但轨迹中的中间奖励预测为智能体进化开辟了新可能：

• 单步前瞻采样：实验性PR实现在每一步评估多个潜在动作
• 实时错误恢复：通过issue探索在解决方案过程中实时纠偏

我们正深度整合这些信号，以提升OpenHands在单次生成场景下的辅助效率。

立即体验OpenHands

除SWE-Bench Verified外，OpenHands在无污染基准LiveSWEBench和跨8种编程语言的Multi-SWE-Bench中同样领先。您可以通过以下方式体验：

• 云端服务：通过含50美元赠金的托管平台快速入门，享受GitHub集成、移动端支持和上下文压缩等优化功能

• 开源贡献：为GitHub仓库点亮Star、提交Issue或PR

• 加入社区：通过Slack交流，查阅文档获取最新动态

期待见证您的创造！