基础模型:

• microsoft/Phi-4-reasoning-plus 语言:
• en 库名称: transformers 许可证: mit 许可证链接: https://huggingface.co/microsoft/Phi-4-reasoning-plus/resolve/main/LICENSE 流水线标签: text-generation 标签:
• nlp
• unsloth
• math
• code
• phi
• phi4 小部件:
• 消息:
  • 角色: 用户 内容: 如何解方程3x^2+4x+5=1?

[!注意] 在llama.cpp中必须使用--jinja参数启用推理功能，否则不会提供标记。

查看我们的合集获取Phi-4所有版本，包括GGUF、4位和16位格式。

学习如何正确运行Phi-4推理 - 阅读我们的指南。

Unsloth Dynamic 2.0实现了卓越的准确性，优于其他主流量化方案。

✨ 使用Unsloth运行和微调Phi-4！

• 使用我们的Google Colab笔记本免费微调Phi-4 (14B)！
• 阅读我们关于Phi-4支持及错误修复的博客：unsloth.ai/blog/phi4
• 在我们的文档中查看其他笔记本。
• 运行并将微调后的模型导出到Ollama、llama.cpp或HF。

Phi-4-reasoning-plus

Phi-4-reasoning技术报告

模型概述

预期用途

数据概述

训练数据集

我们的训练数据是数学、科学和编码中的问答、聊天格式数据的混合。聊天提示来源于经过过滤的高质量网络数据，并通过合成数据生成管道进行可选的重写和处理。我们进一步包含数据以提高真实性和安全性。

基准数据集

我们使用开源的Eureka评估套件和我们自己的内部基准来评估Phi-4-reasoning-plus，以了解模型的能力。具体来说，我们在以下方面评估我们的模型：

推理任务：

• AIME 2025、2024、2023和2022： 数学奥林匹克问题。

• GPQA-Diamond： 复杂的、研究生水平的科学问题。

• OmniMath： 超过4000个奥林匹克水平数学问题的集合，带有人工标注。

• LiveCodeBench： 来自竞争性编程比赛的代码生成基准。

• 3SAT（3-文字可满足性问题）和TSP（旅行商问题）： 算法问题解决。

• BA Calendar： 规划。

• Maze和SpatialMap： 空间理解。

通用基准：

• Kitab： 信息检索。

• IFEval和ArenaHard： 指令遵循。

• PhiBench： 内部基准。

• FlenQA： 提示长度对模型性能的影响。

• HumanEvalPlus： 功能性代码生成。

• MMLU-Pro： 多任务语言理解的流行聚合数据集。

安全性

方法

Phi-4-reasoning-plus通过监督微调（SFT）采用了强大的安全后训练方法。该方法利用了各种开源和内部生成的合成提示，其LLM生成的响应遵循严格的微软安全指南，例如用户理解和清晰度、安全和道德指南、限制、免责声明和知识范围、处理复杂和敏感主题、安全和尊重参与、指南保密和思维链保密。

安全评估和红队测试

在发布之前，Phi-4-reasoning-plus遵循了多方面的评估方法。定量评估通过多个开源安全基准和利用对抗性对话模拟的内部工具进行。对于定性安全评估，我们与微软的独立AI红队（AIRT）合作，评估Phi-4-reasoning-plus在普通和对抗性用户场景中的安全风险。在普通用户场景中，AIRT模拟典型的单轮和多轮交互以识别潜在风险行为。对抗性用户场景测试了旨在故意颠覆模型安全训练的各种技术，包括基础性、越狱、仇恨和不公平等有害内容、暴力、性内容或自残，以及受保护材料的版权侵犯。我们进一步评估模型在Toxigen上的表现，这是一个旨在衡量针对少数群体的偏见和毒性的基准。

请参阅技术报告以获取有关安全对齐的更多细节。

模型质量

以下是模型在代表性基准上的高质量概述。对于下表，数字越高表示性能越好：

总体而言，仅140亿参数的Phi-4-reasoning和Phi-4-reasoning-plus在广泛的推理任务中表现良好，显著优于DeepSeek-R1蒸馏70B模型等更大的开源权重模型，并接近完整DeepSeek R1模型的性能水平。我们还在多个新的推理基准上测试了模型，包括算法问题解决和规划的3SAT、TSP和BA-Calendar。这些新任务名义上是模型领域外的，因为训练过程并未有意针对这些技能，但模型仍然表现出对这些任务的强大泛化能力。此外，在评估与标准通用能力基准（如指令遵循或非推理任务）的性能时，我们发现尽管后训练专注于特定领域的推理技能，我们的新模型相比Phi-4有显著改进。

使用

推理参数

推理时最好使用temperature=0.8、top_p=0.95和do_sample=True。对于更复杂的查询，将最大标记数设置为32k以允许更长的思维链（CoT）。

Phi-4-reasoning-plus在推理密集型任务上表现出强大的性能。在我们的实验中，我们将其最大标记数扩展到64k，它在处理更长序列时显示出有希望的结果，在扩展输入上保持连贯性和逻辑一致性。这使其成为需要深入、多步推理或广泛上下文的探索任务的引人注目的选择。

输入格式

鉴于训练数据的性质，始终使用以下系统提示的ChatML模板进行推理：

<|im_start|>system<|im_sep|>
作为助手，你的角色涉及在提供最终精确和准确的解决方案之前，通过系统化的思考过程彻底探索问题。这需要参与全面的分析、总结、探索、重新评估、反思、回溯和迭代周期，以形成深思熟虑的思考过程。请将你的响应结构化为两个主要部分：思考和解决方案，使用指定格式：<think> {思考部分} </think> {解决方案部分}。在思考部分，详细描述你的推理过程步骤。每个步骤应包括详细考虑，如分析问题、总结相关发现、头脑风暴新想法、验证当前步骤的准确性、精炼任何错误以及重新审视先前步骤。在解决方案部分，基于思考部分的各种尝试、探索和反思，系统地呈现你认为正确的最终解决方案。解决方案部分应逻辑清晰、准确且简洁，并详细说明得出结论所需的必要步骤。现在，尝试通过上述指南解决以下问题：<|im_end|>
<|im_start|>user<|im_sep|>
x^2的导数是什么？<|im_end|>
<|im_start|>assistant<|im_sep|>

使用transformers

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-4-reasoning-plus")
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-4-reasoning-plus", device_map="auto", torch_dtype="auto")

messages = [
    {"role": "system", "content": "你是Phi，一个由微软训练的语言模型