license: mit library_name: transformers

✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦
解锁语言模型的推理潜能
从预训练到后训练
✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦✦

本模型仓库采用MIT许可证授权。

一、引言

当前大多数成功的强化学习（RL）研究（包括开源项目）都依赖于较大的基础模型（如32B参数模型），特别是在提升代码推理能力方面。此外，业界普遍认为在小模型中同时实现数学与代码能力的均衡提升具有挑战性。但我们认为，RL训练推理模型的效果取决于基础模型与生俱来的推理潜力。要彻底释放语言模型的推理潜能，不仅需要关注后训练策略，还需针对推理特性优化预训练方案。

在本工作中，我们推出MiMo-7B系列——专为推理任务从头训练的模型。基于MiMo-7B-Base的RL实验表明，该模型展现出非凡的推理潜力，甚至超越了许多32B大模型。我们还对冷启动的SFT模型进行RL训练，最终获得的MiMo-7B-RL在数学和代码推理任务上均表现出色，性能可媲美OpenAI o1-mini。

我们开源了MiMo-7B全系列模型，包括基础模型、SFT模型、基于基础模型训练的RL模型，以及基于SFT模型训练的RL模型。相信本报告与相关模型将为开发强大推理LLM提供宝贵洞见，助力社区发展。

üåü 核心亮点

• 预训练：为推理而生的基础模型

  • 优化数据预处理流程，增强文本提取工具包并应用多维数据过滤，提升预训练数据中的推理模式密度
  • 采用多种策略生成海量多样化合成推理数据
  • 实施三阶段数据混合策略，MiMo-7B-Base总计训练约25万亿token
  • 引入多token预测（MTP）作为辅助训练目标，既提升模型性能又加速推理

• 后训练方案：开创性推理模型

  • 精选13万道数学与编程题作为RL训练数据，所有题目均可通过规则验证器检验。每道题均经过严格清洗与难度评估
  • 仅采用基于规则的准确性奖励，避免潜在的奖励破解问题
  • 针对高难度代码题的稀疏奖励问题，引入测试难度驱动的代码奖励机制。通过为不同难度测试用例分配细粒度分数，利用密集奖励信号更有效优化策略
  • 对简单题实施数据重采样策略，提升rollout采样效率并稳定策略更新（尤其在RL训练后期）

• RL基础设施

  • 开发无缝rollout引擎加速RL训练与验证。通过整合持续rollout、异步奖励计算和提前终止机制，将GPU空闲时间最小化，实现训练速度提升2.29倍、验证速度提升1.96倍
  • 在vLLM中支持MTP并增强RL系统推理引擎的鲁棒性

二、模型详情

MiMo-7B的MTP层在预训练和SFT阶段进行调优，在RL阶段保持冻结。使用单层MTP进行推测解码时，接受率约为90%。

模型下载地址：HuggingFace | ModelScope

三、评估结果

MiMo-7B系列模型表现

[!重要提示] 所有评测均在temperature=0.6条件下进行

AIME24/AIME25取32次重复的平均分，LiveCodeBench v5（20240801-20250201）/v6（20250201-20250501）、GPQA-Diamond和IF-Eval取8次重复平均分，MATH500和SuperGPQA为单次运行结果

四、部署指南

SGLang推理

感谢SGLang团队的贡献，我们在24小时内实现了MiMo在SGLang主线版本的支持（MTP功能即将上线）。

示例脚本：

# 从main分支安装最新版SGLang
python3 -m uv pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git/@main#egg=sglang&subdirectory=python"

# 启动SGLang服务
python3 -m sglang.launch_server --model-path XiaomiMiMo/MiMo-7B-Base --host 0.0.0.0 --trust-remote-code

详细用法参见SGLang文档，MTP支持也将在24小时内上线。

vLLM推理

1. [推荐] 使用[我们维护的vLLM分支](https://github.com/XiaomiMiMo